Google Cloud associate 강의 요약: Cloud monitoring

Cloud monitoring

• 효과적으로 운영하기 위한 도구로 Metrics에서는 각종 지표들을, Graphs and dashboard에서는 각종 시각화를, Configure Alerts 에서는 건강하지 않은 상황일때 알림이나 문서 상태를 바탕으로 경고정책을 짤 수 있다.
• Workspace로 여러 계정이나 GCP 프로젝트의 정보를 모아서 볼 수 있다.
• 가상머신에서는 CPU,disk, network,uptime 등의 정보를 받아올 수 있다. Cloud monitoring agent를 VM 에 설치하면 더 많은 정보를 얻을 수 있다.

Cloud Logging

• 로그를 남겨주는 도구로 exabyte 스케일로 작동한다. 주요 기능으로는
  • Logs explorer: 유동적인 쿼리를 분석 정렬 탐색함
  • Logs dashboard: 시각화
  • Logs Metrics: 각종 측정 항목들을 log로 부터 캡쳐함
  • Logs Router: 로그 증가하는 걸 볼 수 있고 다른 목적지로 라우팅 가능
• GKE, App Engine, Cloud Run 등의 도구로도 자동으로 로그를 보낼 수 있다.
• GCE의 가상머신에서 로그를 보내려면 Logging Agent를 설치하고 실행하면 된다.
• on-premise의 경우 Blue Medora의 BindPlane이나 Cloud logging API를 사용하면 된다.

Audit log

• Access Transparency log: 모든 서비스에서 지원되지는 않지만 GCP 팀에서 너의 컨텐츠에 접근한 행동들에 대해 capture한다. gold support level 이상의 조직에서만 지원한다.
• Cloud Audit logs: 누가어떤 서비스에서 어떤 작업을, 어떤 리소스가 감사받았는지 나온다.

Feature	Admin 활동 로그	데이터 접근 로그	시스템 이벤트 로그	정책 위반 로그
뜻	API 호출이나 다른 기능들이 조정된 리소스 구성	리소스의 구성 읽기	구글 클라우드 관리 작업 활동	유저나 서비스 계정이 접근이 거부될때
Default Enabled	yes	no	yes	yes
VM Examples	vm 생성, 리소스 업데이트, IAM 권한 변경	Vm이나 image의 리소스 listing	host 유지관리, 인스턴스 preemption, 자동 재시작	안전 정책 위반 로그
Cloud Storage	bucket이나 object 수정	bucket이나 object 읽고 수정
Access Needed	로깅/로그 뷰어 나 project/viewer	로깅/private 로그 뷰어 나 project/owner (얘만 다름!)	로깅/로그 뷰어 나 project/viewer	로깅/로그 뷰어 나 project/viewer

Cloud Logging - controlling & routing

• log는 다양한 소스에서 log Router에 라우팅된다. 그리고 log router는 configured rules로 도달한 로그들을 확인한다.
• 2가지 타입의 logs bucket이 있다 required와 default이다.
  • Required: admin activity, system events, access transparency logs 를 남기며 400일간 유지된다. 비용 없고 삭제도 불가능 하며, 보관 기간을 변경할 수 없다.
  • default: 그 외의 다른 로그들을 남기며 30일간 보관되고 비용이 청구된다. bucket을 삭제할 수 없는건 마찬가지이지만 bucket에서 로그 남기는 것 비활성화 가능, 유지 날짜 편집 가능
• 로그들은 제한된 기간동완 보관되며 이를 export 할 수 있다. 오랜기간 보관을 원한다면 cloud storage bucket, big query dataset, cloud pub/sub topic등으로 export 할 수 있다. 또한 포함, 제외를 정하는 필터를 통해 로그 export를 조절할 수 있다.

Cloud Trace

• GCP의 분산 추적 시스템, 구글 클라우드 서비스에서 제공하며 다양한 어플리케이션에서 추적하는 서비스. Cloud Trace API를 활용함
• 얼마나 서비스가 요청하는데 걸리는지 평균지연율이 어떻게 되는지 등을 추적 가능함. Compute Engine, GKE, App Engine 등에서 지원하며 C#, Go, Java, Node.js, Python, Ruby 등의 언어를 사용가능함

Cloud Debugger

• test나 production 환경에서 디버깅 이슈를 찾을떄 활용할 수 있다.
• 실행중인 응용 프로그램을 캡쳐하고 콜스텍, 변수 스냅샷, 호출스택 등을 알 수 있다. 매우 가볍고 어느 환경에서든 사용가능하며 재배포가 필요없어서 좋다.

Cloud Profiler

• 병목혁상 식별을 위한 도구로 토계적으로 low-overhead profiler를 제공한다.지속적으로 CPU와 memory 사용 을 모으고, 프로파일링 데이터와 소스코드를 연결시킨다. 즉 병목현상을 극복할 수 있다.
• 2가지 profiling agent(정보수집)와 profiler interface(시각화,오버헤드 낮음)로 구성된다.

Error Reporting

• 실시간으로 production problem을 구별하는 방법
• 에러 track으로 쌓이는 거 볼 수 있고 중앙집중화된 에러 관리, firebase crash reporting으로 appclient 에서 일어난 일들을 볼 수 있다.

시나리오

• Q: 모든 object와 bucket에서 나온 모든 operations, requests를 기록할 수 있다.
• A: data ccess audit logging을 bucket에 올리면 된다.
• Q: 다양한 microservice에서 추적 원함
• A: Cloud Trace
• Q: 특정 mircroservice에 exception, error 식별
• A: Error Reporting
• Q: 차근차근 production에서 문제 디버깅
• A: Cloud Debugger
• Q: 특정 request에서 log 보기
• A: Cloud logging