Google Cloud Associate 강의 요약: Explore Database

CS 내용 요약, 지식/Google Cloud Associate

걍판자 2025. 1. 13. 22:14

Cloud SQL이란?

관계형 데이터베이스 서비스로 MySQL, PostgreSQL, SQL 서버를 지원하며 가용성이 높고, SSD나 HHD를 사용한다.
RAM은 416GB까지, data storage는 30TB 까지 늘릴 수 있다.
local MySQL, PostgreSQL, SQL 서버 DB와 마이그레이션 할때 적합하다.
간단한 관계형 DB로 비용을 줄이려 할때 좋다. cloud spanner는 엄청 비싸다.
Cloud spanner은 엄청나게 용량이 크거나, 스케일링이 무한에 가까워야 하거나, global database가 필요하거나 가용성이 매우 높아야 할때나 쓴다.

자동 암호화, 유지보수 및 업데이트
고 가용성과 failover, 자동으로 standby로 전환. primary와 secondary 구역 정해두었다가 지역에 맞게 고를 수 있음. 복제본을 동기화 하며 zonal failure 시 secondary로 failover됨. 근데 이때 primary가 다시 복구되어도 primary로 자동으로 되돌리지는 않음
read workloads를 위해 read replica. 고가용성 설정에서는 쓸 수 없음
downtime 없이 자동으로 storage 증가
binary logging 가능하게 함
백업 자동화
다른 소스들로 부터 migration 지원
data를 export 가능
명령어는 gcloud sql {목적어} {상세명령어}

PB 정도의 규모로 wide column NoSQL DB이다.
거대한 용량과 분석을 위한 데이터에 적합하다(IOT Stream, Time series data, anayltics)
매우 적은 지연율로 읽고 쓸 수 있음
multi row transactions 이 제공되지 않는다. single row transaction만 됨
서버리스가 아니라서 인스턴스 만들어야 함
cloud console이나 gcloud 로 export 안됨. JAVA 어플리케이션 써야함
지연율 낮음. 기본적으로 key value map으로 정렬됨.
cloud dataflow로 bigtable에서 cloud storage로 export 가능
gcloud 가 아닌 cbt 라는 명령어로 시작함. 뒤에 createinstance/createcluster/createtable/listinstances/deletecluster 등이 옴
설치 한 다음 .cbtrc file을 만들어 그 파일로 프로젝트 구성

exabyte 정도의 크기에서 사용하기 좋은 GCP의 관계형 데이터베이스 솔루션이다.
SQL 같은 쿼리를 날려 데이터를 관리할 수 있다.
storage + compute + realtime+ serverless
Datawarehouse에서는 data를 import 하고 export 하는 게 중요하다.
다양한 형식으로 import 할 수 있고, cloud storage나 data studio에 어러 포맷으로 export 할 수 있다.
자동으로 data 만료 가능
big query는 쿼리로 외부의 거대한 데이터를 담아두지 않고 불러올 수 있게 해준다.
big query는 cloud console, gcloud가 아닌 bq cli , Bigquery Rest API, HBase 기반 라이브러리 등으로 접근 할 수 있다.
빅쿼리는 크기에 따라 비쌀 수 있으니 미리 데이터 양을 스캔하거나, 데이터 계산기로 견적을 내고 접근해야 한다.
명령어는 bq show, query, extract, load 등이 있다.
만약 프로젝트를 standard way로 정하려면 gcloud config set project my-project

Type		to/from	from 에서 이용하는 도구	참고
realtional	Cloud SQL	Cloud Storage	Console/gcloud/REST API	큰 데이터베이스의 경우 서버리스 모드를 사용한다.
realtional	Cloud Spanner	Cloud Storage	Console (Cloud Data Flow 사용)
realtional	BigQuery	Cloud Storage	Console/bq	CSV, JSON,Avro 형식이 지원되며 데이터를 import 하는 3가지 방식으로 1. Cloud storage 2. Bigquery data Transfer Service에서 batch 돌리기 3. Dataflow이용하기 등의 방법이 있다
NOSQL	Datastore/ firebase	Cloud Storage	Console/gcloud/REST API
NOSQL	BigTable	Cloud Storage		Dataflow jobs를 만들 수 있고 Avro/Parquet/SeuqenceFiles등의 format 가능
다 Cloud Storage 거치는데 그러기 위해서는 Cloud Storage Buckets 에 접근 가능한 계정이 있어야 한다. ACL 이나 Storage Admin, Storage Object Admin, Storage Object Creator 같은 roles 부여하면됨