[Google BigQuery] BigQuery 개요

1. BigQuery

1) SQL 쿼리를 사용하여 Peta Byte(10^15) 이상의 데이터를 관리하고 분석할 수 있도록 해주는 완전 관리형 엔터프라이즈 데이터 웨어하우스이다.
2) 완전 관리형 서비스리스 컴퓨팅 *데이터 웨어하우스라고도 하는데 서비스리스는 서비스가 없는 것이 아니라 서버 관리, 용적 계획이 숨겨져 있고 동적으로 머신 자원의 할당을 관리받기 때문이다. 또한 사용한만큼 비용이 청구된다.
3) BigQuery 내에서 데이터를 저장, 분석하거나 저장된 위치에 데이터를 접근할 수 있다.
4) 통합 쿼리를 사용하여 외부 데이터를 읽고 스트리밍으로 연속적으로 데이터 업데이트가 가능하다.
5) 클라이언트 라이브러리를 사용하여 Python, Java, JavaScript 등의 프로그래밍 언어로 데이터를 관리할 수 있다.

2. BigQuery Storage

1) 열(Column) 형식 스토리지를 사용하여 데이터를 저장한다.
2) 테이블 즉, 열과 행으로 데이터를 표현한다.
3) 고가용성을 위해 여러 위치에 자동으로 복제된다.
따라서 큰 데이터 손실과 같은 문제가 발생하여도 데이터를 복구할 수 있다.
4) Partitioning과 Clustering을 통해 모든 데이터를 탐색하지 않아도 쉽게 데이터에 접근이 가능하다.

3. BigQuery Analytics

1) BigQuery, Cloud Storage, Bigtable, Spanner, Google Drive에 저장된 데이터를 외부 테이블, 통합 쿼리를 사용하여 저장된 위치에서 쿼리를 실행할 수 있다.
2) 머신러닝 모델링 및 예측 분석을 BigQuery ML에서 제공한다. 

4. BigQuery Administration

1) IAM(Identity and Access Management)으로 데이터를 집중적으로 관리를 제공하고 보호되는 자원들을 계산한다.
2) 보안이 철저하지만 유연한 접근 방식을 제공한다.

 

---

* 데이터 웨어하우스(Data Warehouse) : 데이터뿐만 아니라 분석 방법까지 포함하여 사용자의 의사 결정에 도움을 주기 위해 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스.