Backend
/
/
📦

Data Warehouse, Pipeline

데이터웨어하우스 개론

0주차. OT
데이터 팀의 역활과 발전
다양한 데이터웨어하우스 옵션

AWS Redshift

0주차. Redshift
1주차 Redshift SQL 실습
1주차 과제 정리
1주차 퀴즈
2주차 과제 정리
Redshift 특징 소개 (특징, 레코드 분배, 저장 방식, 벌크 업데이트, 데이터 타입)
Redshift Serverless 설치
Redshift 기초 (그룹, 역활, S3 접근 권한 설정, Redshift COPY)
Redshift 고급 기능 (권한, 보안, 백업, 복구)
Redshift Spectrum으로 S3 외부 테이블 조작
Redshift Spectrum를 이용한 Glue Catalog 다루기
Redshift ML
Redshift 중지/제거하기
Redshift Serverless Error detection
Redshift cluster 설정(생성, ADMIN, S3 권한)
AWS Redshift Spectrum vs Athena
Redshift Spectrum Federated Query
Redshift UNLOAD 정리

Snowflake

Snowflake 소개
Snowflake 실습
Snowflake 사용자 권한 설정
Snowflake 기타 기능과 사용 중단하기 살펴보기
Snowflake superset 연결

시각화

다양한 시각화 툴 소개
Superset 개념 및 실습
AWS QuickSight

AWS Athena + Glue 서비스

AWS Glue
AWS Glue ETL
AWS Glue ETL with Visual
Athena Query Tutorial - Data Modeling + Analytic Query + JDBC 연결
AWS Glue Spark UI monitoring
Glue - RDS data connection
Athena Federated Query
Athena with AWS Load Balancer query
Athena Create Table (boto3 관련 + DDL 정리)
External table with MSCK TABLE
External table (From Hive)
Glue catalog를 읽어오는 방법들 리스팅
Athena 최적화 관련 링크 모음 및 정
참고 레퍼런스

DataPipeline

DataPipeline with OOP (Design Pattern)
Batch 작업 최적화 (feat. kakao 컨프)

참고

[GCP] BigQuery, Storage - Python 연동 - 미완성의신
https://unfinishedgod.netlify.app/2023/06/20/gcp-bigquery-storage-python/
스타트업 나홀로 데이터 엔지니어: 데이터 분석 환경 구축기 - 천지은 (Tappytoon) :: AWS Community Day Online 2021
아무런 경험없이 밑바닥에서부터 구축한 데이터 분석 파이프라인을 소개합니다. 데이터분석을 시작하려고 하는 스타트업에 도움이 될만한 프로젝트들과 AWS를 활용한 데이터 분석 아키텍쳐 구성들을 소개합니다. 발표자료 : https://www.slideshare.net/awskr/tappytoon-aws-community-day-online-2021 행사페이지: https://festa.io/events/1826
https://www.youtube.com/watch?v=5VzfbJ-eZGM