초당 75GB의 디스크 데이터 기록
ADQ35와 libads를 활용한 비용 효율적인 솔루션.
www.spdevices.com
Teledyne SP Devices의 ADQ3 시리즈 디지타이저는 높은 데이터 처리량과 간편한 애플리케이션 개발을 지원하는 SDK를 제공합니다. 본 기사에서는 6개 채널에서 50초 이상 동안 초당 75GB의 지속적인 데이터 쓰기 속도를 유지하며 총 4TB의 데이터를 수집하는 디스크 스트리밍 시스템을 소개합니다. 이 시스템은 DPS7-PCIe 플랫폼과 ADQ35 디지타이저 6대로 구성되며, 각 디지타이저는 10GSPS의 샘플링 속도(채널당 초당 12.5GB)로 데이터를 수집합니다. 이와 같은 시스템은 위성 모니터링 및 라이다(LiDAR) 등의 애플리케이션에 활용됩니다.
저렴한 소비자용 NVMe 드라이브를 SLC(Single-Level Cell) 모드로 구성하면 드라이브당 초당 12.5GB 이상의 데이터 쓰기 속도를 구현할 수 있습니다. 여기에 Teledyne SP Devices의 디스크 스트리밍 라이브러리인 libads를 결합하면 파일 시스템을 우회하고 CPU 부하를 줄일 수 있어, 시스템 오버헤드를 최소화하면서 비용 효율적인 솔루션을 구현할 수 있습니다. 이러한 저비용 구성은 고가의 엔터프라이즈 솔루션 대비 5~10% 수준의 비용으로 구축할 수 있습니다. 엔터프라이즈 솔루션 수준의 내구성이 요구되지 않는 애플리케이션이라면 충분히 고려할 만한 선택지입니다.
시스템 개요
Teledyne SP Devices의 DPS7-PCIe 플랫폼을 기반으로 구축된 이 시스템은 소형 4U 랙마운트 및 데스크톱 겸용 폼팩터로 설계됐습니다(그림 1 참조). 10GSPS에서 6개 채널 또는 5GSPS에서 12개 채널의 데이터를 수집하고 저장할 수 있습니다. 50초 이상 연속 기록할 경우 총 4TB의 데이터를 저장할 수 있습니다. 또한 클록 생성 및 분배 기능과 모든 채널의 트리거 동기화 기능을 통합한 독립형 시스템입니다.
- DPS7-PCIe: 구성이 가능한 서버급 컴퓨터 플랫폼
- ADQ35 디지타이저 6대: 각 디지타이저의 데이터 수집 속도는 초당 12.5GB로 구성
- Kingston Fury Renegade G5 2TB NVMe SSD 6개: 드라이브당 실효 용량 670GB로 구성
- libads: Teledyne SP Devices의 디스크 스트리밍 라이브러리
- Ubuntu 24.04 LTS 운영체제
- Teledyne SP Devices 클록 팬아웃 보드: 기준 클록 생성 및 분배
클록 팬아웃 보드에서 생성된 10MHz 기준 클록은 모든 디지타이저에 분배됩니다. 각 디지타이저의 트리거 포트는 데이지 체인 방식으로 연결하고, 이 중 하나를 마스터로 설정했습니다. 이를 통해 모든 디지타이저의 데이터 수집 시작 시점을 동기화할 수 있습니다.
그림 1: Teledyne SP Devices의 DPS7-PCIe 시스템. 4U 랙마운트 및 데스크톱 겸용 폼팩터로 설계됐으며, 디지타이저 2대가 장착된 구성 예시.
libads 소개
libads는 ADQ3 시리즈 디지타이저를 위해 설계된 고성능 디스크 스트리밍 라이브러리입니다. 디지타이저 API와 긴밀하게 통합돼 있어 애플리케이션을 손쉽게 개발할 수 있습니다. 다양한 매개변수 설정이 가능한 기본 제공 예제는 대부분의 사용 사례를 지원하며, 고급 애플리케이션 개발을 위한 출발점으로 활용할 수 있습니다. 또한 자체 파일 시스템을 사용해 CPU 오버헤드를 제거하고 저장된 데이터 세트를 쉽게 식별할 수 있도록 합니다.
이번 솔루션에서는 디지타이저마다 하나의 드라이브를 할당했지만, libads는 하나의 드라이브를 여러 디지타이저가 공유하거나 RAID 구성을 통해 하나의 디지타이저에 여러 드라이브를 연결하는 방식도 지원합니다. 선택 사양인 NVIDIA GPUDirect Storage 기능을 활용하면 데이터를 저장하기 전에 GPU에서 실시간으로 처리할 수도 있습니다.
libads는 높은 데이터 처리량과 낮은 시스템 부하를 구현하도록 최적화돼 있습니다. 데이터는 비동기 방식으로 NVMe SSD에 기록되며, 이 과정에서 운영체제의 파일 시스템과 캐싱 메커니즘을 우회합니다. 이를 통해 CPU 부하를 줄이고 데이터 처리 경로를 PCIe, 디스크 및 DRAM(또는 GPU) 중심으로 단순화합니다. 그림 2는 데이터 처리 경로를 보여줍니다. 디지타이저에서 수집된 데이터는 DRAM 버퍼에 기록되고, 이후 디스크가 해당 데이터를 읽어 저장합니다. 이 과정에서 CPU는 제어 및 모니터링 작업에만 관여합니다.
그림 2: 녹색은 고대역폭 데이터 전송 경로를, 빨간색은 저대역폭 제어 및 모니터링 경로를 나타냅니다.
시스템 구성 요소 선정
시스템 구성 요소 선정에 영향을 미치는 애플리케이션 요구사항은 다음과 같습니다.
- 데이터 처리량: 10GSPS에서 6개 채널 또는 10비트 압축을 적용한 5GSPS에서 12개 채널 지원 → 6 × 12.5GB/s 또는 12 × 6.25GB/s = 75GB/s. 10비트 압축은 신호 품질에 미치는 영향을 최소화하면서 데이터 용량을 줄이기 위해 적용합니다.
- 저장 용량: 최소 50초 이상의 연속 기록 지원 → 75GB/s × 50초 = 3.75TB.
- 처리 성능: 실시간 데이터 처리 기능은 필요하지 않습니다.
이러한 애플리케이션에 적합한 개별 구성 요소의 선정 기준은 다음과 같습니다.
- 디지타이저: 높은 샘플링 속도와 데이터 처리량을 고려해 ADQ35 디지타이저를 선정했습니다. 각 디지타이저는 10GSPS에서 1개 채널 또는 5GSPS에서 2개 채널의 데이터를 수집할 수 있으며, 초당 14GB 이상의 속도로 데이터를 전송할 수 있습니다.
- 스토리지: 스토리지 구성은 주로 요구되는 저장 용량과 데이터 처리량에 따라 결정됩니다. 특히 사용량이 많은 시스템에서는 드라이브의 수명이 다하기 전까지 기록할 수 있는 총 데이터 용량을 의미하는 내구성이 중요한 고려 사항입니다. 이번 애플리케이션에는 저렴한 2TB 드라이브를 선정했으며, 드라이브당 실효 용량을 670GB로 줄이는 방식으로 구성해 초당 12.5GB 이상의 데이터 쓰기 속도를 지원하도록 했습니다.
이 시스템은 DPS7-PCIe 서버급 플랫폼을 기반으로 하며, 구성 요소를 선택해 대부분의 애플리케이션 요구사항에 맞게 확장할 수 있습니다. 시스템의 상세 사양은 아래 표에 제시돼 있습니다. 디지타이저와 NVMe 드라이브는 그림 3에, PCIe 슬롯 장착 방식으로 구성된 클록 팬아웃 보드는 그림 4에 나와 있습니다.
그림 3: DPS7-PCIe 시스템에 장착된 디지타이저 및 NVMe 드라이브.
그림 4: PCIe 슬롯 장착 방식으로 구성된 Teledyne SP Devices의 클록 팬아웃 보드.
테스트 결과
연속 데이터 수집 테스트에서 6개 채널을 통해 채널당 초당 12.5GB, 총 초당 75GB의 지속적인 데이터 처리량으로 53초 동안 데이터를 성공적으로 기록했습니다. 총 기록 데이터 용량은 4TB에 달했습니다. 실제 기록된 데이터는 4,020GB이며, 측정된 평균 데이터 쓰기 속도는 초당 74.989GB였습니다. 초당 75GB와의 미세한 차이는 측정 타이머에 데이터 수집의 시작 및 종료 시간이 포함됐기 때문입니다.
데이터 기록이 완료된 후에는 개발용 기능을 사용해 수집된 데이터와 메타데이터의 무결성을 검증했습니다. 전체 드라이브 용량을 사용했기 때문에 각 테스트 실행 사이에 드라이브를 포맷했으며, 동일한 데이터 수집 테스트를 여러 차례 반복했습니다.
드라이브의 최대 지속 데이터 쓰기 속도를 확인하기 위해 16비트 형식의 2,048샘플 개별 레코드를 사용한 추가 테스트도 진행했습니다. 그 결과, 초당 75.9GB의 지속적인 데이터 처리량으로 개별 레코드를 성공적으로 기록했습니다. 이는 해당 시스템 구성에서 달성한 최대 지속 데이터 쓰기 속도입니다.
확장성 및 향후 업그레이드
디스크 스트리밍 시스템은 다양한 요구사항에 맞춰 확장할 수 있습니다. 디지타이저의 펌웨어 옵션을 활용하면 향후 시스템 업그레이드도 용이합니다. 예를 들어, 5GSPS에서 2채널 펌웨어를 사용하는 ADQ35 2대로 4채널 시스템을 구축한 후, 10GSPS에서 1채널 펌웨어를 사용하는 ADQ35 4대로 확장할 수 있습니다. 디스크 스트리밍 시스템에서 선택할 수 있는 주요 확장 옵션은 다음과 같습니다.
- 페타바이트(PB)급 저장 용량 및 초당 80GB 이상의 지속적인 데이터 쓰기 속도: 엔터프라이즈급 NVMe 드라이브와 드라이브 캐리어를 활용해 구현할 수 있습니다.
- 높은 내구성의 드라이브: 각 드라이브는 70,000TBW(총 쓰기 가능 용량) 이상의 내구성을 지원합니다.
- 다중 섀시 동기화를 통한 채널 수 확장: 16슬롯 확장 섀시인 DPS16-PCIe를 추가하거나 여러 대의 DPS7-PCIe 시스템을 사용할 수 있습니다. 모든 섀시에 장착된 디지타이저의 클록 및 트리거 신호를 동기화할 수 있습니다.
- 저장 전 GPU 실시간 처리: GPU에서 데이터를 처리해 저장해야 하는 데이터 양을 줄이면 필요한 저장 용량과 데이터 처리량을 낮출 수 있습니다. libads 라이브러리는 NVIDIA GPUDirect Storage를 지원해 디지타이저에서 GPU를 거쳐 디스크로 데이터를 직접 전송할 수 있습니다.
- 저장 전 FPGA 실시간 처리: ADQ3 시리즈 디지타이저에서 제공하는 펌웨어 옵션을 활용하거나 개발 키트 옵션을 통해 맞춤형 로직을 구현해 FPGA에서 데이터를 처리하고 용량을 줄일 수 있습니다.
- 폼팩터: PXIe, 데스크톱 및 랙마운트 형태로 제공됩니다.
결론
이번에 소개한 디스크 스트리밍 솔루션은 Teledyne SP Devices의 libads 라이브러리와 SLC 모드로 작동하는 드라이브를 활용해 고속 디스크 스트리밍 시스템 구축 비용을 절감합니다. 이를 통해 전체 스토리지 비용을 크게 낮출 수 있습니다. 또한 스토리지 장치가 차지하는 PCIe 슬롯 수를 줄일 수 있어 섀시당 더 많은 채널을 구성할 수 있습니다.
비용 효율적인 디스크 스트리밍 솔루션은 거의 모든 요구사항에 맞춰 구성할 수 있습니다. Teledyne SP Devices는 완제품 시스템을 제공할 뿐만 아니라 고객이 자체 시스템을 구축하거나 기존 시스템을 업그레이드할 수 있도록 기술적인 가이드도 제공합니다.
Teledyne SP Devices 소개
Teledyne SP Devices는 고속 데이터 수집 기술을 선도하는 기업으로, 전 세계의 까다로운 애플리케이션에 대응하는 첨단 디지타이저와 신호 처리 솔루션을 제공하고 있습니다. 10GSPS 디지타이저 기술의 초기 단계부터 업계를 선도해 온 오랜 혁신의 역사를 바탕으로, 고객이 데이터를 더욱 빠르고 정확하며 효율적으로 수집하고 처리할 수 있도록 지원합니다.
자세한 내용은 다음 웹사이트에서 확인할 수 있습니다: https://www.spdevices.com/en-us?utm_source=mepax
