아파치 애로

아파치 애로(Apache Arrow)는 언어 불가지론적 소프트웨어 프레임워크로, 컬럼형 데이터를 처리하는 데이터 분석 애플리케이션을 개발하는 데 사용된다. 여기에는 현대 CPU 및 GPU 하드웨어에서 효율적인 분석 작업을 위해 플랫 및 계층적 데이터를 나타낼 수 있는 표준화된 컬럼 지향 메모리 형식이 포함되어 있다. 이를 통해 동적 램의 비용, 변동성 또는 물리적 제약과 같이 대규모 데이터 세트 작업의 실현 가능성을 제한하는 요소가 줄어들거나 제거된다.

 상호 운용성 

애로는 아파치 파케이, 아파치 스파크, NumPy, PySpark, Pandas 및 기타 데이터 처리 라이브러리와 함께 사용할 수 있다.
이 프로젝트에는 C, C++, C#, Go, Java, JavaScript, Julia, MATLAB, Python(PyArrow), R, Ruby, Rust로 작성된 네이티브 소프트웨어 라이브러리가 포함되어 있다. 애로는 이러한 언어와 시스템 간에 직렬화 오버헤드 없이 제로 복사 읽기 및 빠른 데이터 액세스 및 교환을 허용한다.

 애플리케이션 

애로는 분석, 유전체학, 및 클라우드 컴퓨팅을 포함한 다양한 영역에서 사용되었다.

 아파치 파케이 및 ORC와의 비교 

아파치 파케이와 아파치 ORC는 온디스크 컬럼형 데이터 형식의 인기 있는 예시이다. 애로는 메모리 내 데이터 처리를 위해 이러한 형식을 보완하도록 설계되었다. 메모리 내 처리를 위한 하드웨어 리소스 엔지니어링의 장단점은 온디스크 저장소와 관련된 것과는 다르다. 애로 및 파케이 프로젝트에는 두 형식 간에 데이터를 읽고 쓰는 라이브러리가 포함되어 있다.

 거버넌스 

아파치 애로는 아파치 소프트웨어 재단에 의해 2016년 2월 17일에 발표되었으며, 다른 오픈 소스 데이터 분석 프로젝트 개발자들의 연합에 의해 개발이 주도되었다. 초기 코드베이스와 자바 라이브러리는 아파치 드릴의 코드를 시드하여 만들어졌다.

 각주 

 외부 링크 
 Apache Arrow 프로젝트 웹사이트
 Apache Arrow GitHub 프로젝트 소스 코드

분류:아파치 소프트웨어 재단 프로젝트
분류:아파치 소프트웨어 재단
분류:소프트웨어 프레임워크