Hive란?

Apache Hive : Hive는 대용량 데이터를 질의하고 그 결과를 생성하는 쿼리 엔진이라 할 수 있다. SQL을 Maxmpduce로 변환하기 때문에 Apache Hadoop이 설치돼 있어야 한다. 기본 동작은 데몬 형태로 동작하지는 않지만, 동작을 위해서는 메타 데이터를 관리하는 별도의 데이터베이스가 있어야 하고, 보통은 MySQL을 이용한다. 음.. 뭐랄까 Hive는 Hadoop에서 사용하는 쿼리같은 느낌이다. 아니, 사실 SQL을 안다면 어려움 없이 사용할 수 있다.

 

다음은 Apache Hive를 구성하는 모듈 구성도이다.

참조: https://data-flair.training/blogs/apache-hive-architecture/

 

Apache Hive Architecture - Complete Working of Hive with Hadoop - DataFlair

Hive를 구성하는 모듈에서 Metadata store는 Hive QL에서 사용하는 데이터베이스 테이블과 HDFS 상의 파일을 서로 연결해주는 역할을 한다. Maxmpduce, HDFS는 모두 경로를 기반으로 입출력 파일을 지정하지만, Hive는 SQL 형태의 쿼리를 작성하기 때문에 파일의 경로 기준으로 작업을 하지 않고 테이블의 스키마명을 기준으로 질의 쿼리를 실행한다. 따라서 HDFS의 파일을 테이블과 연결하는 작업이 필요하다. 보통 연결하는 작업은 Hive QL로 처리하지만, 그 정보는 어딘가에 저장돼 있어야 하는데 그 저장소가 바로 Metadata store이다. Metadata store는 JDBC를 기반으로 동작하는 어떤 데이터베이스를 사용해도 되며, 기본으로 설정하지 않아도 파일 기반 데이터베이스를 사용하도록 설정돼 있다. 그렇더라도 단순 테스트 환경이 아닌 경우 반드시 별도의 데이터베이스를 지정해서 사용해야 한다.