텔레다인 SP 디바이스, 초고속 데이터 수집을 위한 ADQ35 및 libads 기반 고속 디스크 스트리밍 기술 공개
텔레다인 SP 디바이스(Teledyne SP Devices)는 자사의 고속 ADQ3 데이터 수집 보드 제품군과 독자적인 libads NVMe 스트리밍 라이브러리를 결합하여 고속 데이터 수집 기술에서 획기적인 진전을 달성했다고 발표했다. 두 기술의 결합으로 초당 수십 기가바이트에 달하는 지속적인 디스크 쓰기 성능을 구현했으며, 이를 통해 광대역 신호 수집, 레이더 분석, 위성 모니터링, 과학 계측 등과 같은 다양한 애플리케이션에서 장시간 데이터 수집 및 기록을 안정적으로 지원할 수 있게 되었다.
www.spdevices.com
최신 데이터 수집 시스템은 일반적으로 초당 수십 기가바이트에 달하는 고충실도 데이터를 지속적으로 생성한다. 기존의 파일 시스템 기반 저장 방식은 지연 발생 및 처리량의 한계로 인해 디지타이저의 최대 속도를 유지하며, 연속으로 기록하는 데 어려움이 있었다. 이러한 한계를 극복하기 위해 텔레다인 SP 디바이스는 SSD 어레이에 직접 블록 단위 쓰기를 수행하는 고성능 NVMe 스트리밍 라이브러리인 libads를 개발했다. libads는 운영체제를 완전히 우회하여 데이터를 전송함으로써 병목 현상을 제거하고, ADQ35 디지타이저와 결합 시 중단 없는 고속 데이터 수집에 필요한 지속적인 성능을 제공한다.
디스크 스트리밍 아키텍처
고성능 디스크 스트리밍은 디지타이저에서 스토리지까지 효율적이고, 일관된 성능의 데이터 전송이 매우 중요하다. 이 아키텍처의 핵심인 ADQ35는 단일 채널 모드에서 최대 10GSPS, 듀얼 채널 모드에서 5GSPS로 동작하여 최대 20GB/s의 원시 데이터를 생성한다. 또한, PCIe Gen3 인터페이스를 통해 디바이스당 최대 14GB/s의 호스트 전송 대역폭을 지원하며, 이는 초고속 데이터 수집에 필요한 기반을 제공한다.
고성능 데이터 수집 시스템을 구축하기 위해서는 병목 현상 없이 디지타이저와 GPU, 그리고 NVMe 캐리어 보드를 모두 수용할 수 있는 충분한 수의 PCIe Gen4 또는 Gen5 x16 슬롯을 갖춘 호스트 PC가 필요하다. 또한, 여러 개의 NVMe 드라이브를 병렬로 연결하기 위해 PCIe 분할 기술이나 PCIe 스위치가 주로 사용된다. RAID 어레이는 키옥시아(Kioxia)의 CD8과 같은 엔터프라이즈급 NVMe SSD를 사용하여 장시간에 걸쳐 안정적인 쓰기 성능을 보장하거나, SLC 캐시 제한이 허용되는 경우 비용 효율적인 버스트 기록을 위해 고사양의 소비자용 SSD를 활용할 수도 있다. libads는 디스크의 원시 섹터에 직접 데이터를 기록함으로써 오버헤드를 최소화하고 처리량을 극대화한다.
libads의 역할
libads는 대규모 연속 블록 쓰기 방식을 이용해 ADQ35에서 NVMe 드라이브로의 데이터 스트리밍을 직접 관리한다. 이 방식은 적절한 RAID 구성에서 25GB/s를 초과하는 지속적인 쓰기 속도를 가능하게 하는 동시에, 지터를 최소화하여 일관된 성능을 유지할 수 있다. 또한, 이 라이브러리는 소형 시스템에서 페타바이트급 RAID 어레이까지 확장할 수 있으며, CPU 오버헤드를 낮게 유지함으로써 호스트 프로세서가 감독 또는 GPU 가속 워크플로우를 포함한 실시간 프로세싱에 선택적으로 집중할 수 있도록 해준다.
스토리지 구성 예시
키옥시아의 CD8과 같은 5개의 고성능 SSD로 구현된 엔터프라이즈급 RAID 시스템은 약 75TB의 총 용량과 25GB/s 이상의 지속적인 쓰기 속도를 제공할 수 있다. 이러한 구성은 처리량 저하 없이 장시간 안정적인 성능을 제공함으로써 디지타이저의 최대 속도로 수 시간에 걸쳐 데이터를 기록해야 하는 환경에 적합하다.
비용에 민감한 환경에서는 킹스톤(Kingston)의 퓨리 레니게이드 G5(Fury Renegade G5)와 같은 고사양의 소비자용 NVMe 드라이브 2개를 사용하여 수백 기가바이트 규모의 데이터 기록에 적합한 높은 버스트 쓰기 속도를 달성할 수 있다. SLC 캐시가 소진되면, 성능이 점차 저하되지만, 이러한 방식은 짧은 시간의 데이터 수집이나 예산 제약이 있는 애플리케이션에서 여전히 매력적인 대안으로 활용될 수 있다.
성능 고려사항
최대 처리량을 달성하기 위해서는 적절한 PCIe 레인 할당, 대용량 블록 전송 크기 활용, 선택한 SSD의 내구성 및 지속 성능 특성, 그리고 장시간 기록 중 드라이브의 성능 저하(Throttling)를 방지하기 위한 적절한 열 관리 등 여러 요소들을 고려해야 한다.
자세한 정보는 웹사이트 www.spdevices.com?utm_source=mepax에서 확인할 수 있다.
