Backend
/
/

Apache Airflow

Apache Airflow

데이터 엔지니어링 with Apache Airflow (재정리)

0. Airflow 자주 쓰는 명령어 정리
1. 데이터 파이프라인 입문
2. Apache Airflow 입문 및 구조, 개념
3. Transaction
4. Airflow 설치 방법
5. Airflow DAG 작성(PythonOperator, params, context, Xcom, Airflow.cfg, DAG Parameters)
6. Yahoo Finance API DAG(update symbol) 작성
7. airflow.cfg, 타임존 설명
8. 세계 나라 정보 API 사용 DAG
9. Open Weathermap DAG 구현
10. Primary Key Uniqueness란?, Upsert
11.Backfill과 Airflow
12. MySQL 테이블 복사하기(S3 Connection, MySQL Connection, sql_to_s3)
13. Summary table 만들기 (ELT version 1)
13-1.과제(summary table + slack hook)
14. Airflow 운영 상의 어려움 + Executor 개념 + Airflow 아키텍처 리뷰
15. Airflow docker-compose 리뷰 및 운영 고민 + .airflowignore
16. Airflow - Gsheet
17. Airflow Slack 연동
18. API & Airflow 모니터링
19. Dag Dependencies (TriggerDagRunOperator, Sensor, ExternalTaskSensor)
20.Jinja Template with Airflow
21. Task-Group & Dynamic Dags
22. 운영 환경에서의 Airflow 세팅(환경, 백업, 로그)
23. AWS Lambda를 사용한 task를 통해 태스크 부하를 줄여보자
24. AWS Athena를 활용한 S3 쿼리 DAG
25. AWS Glue, Athena, Xcom을 이용한 S3 쿼리 테이블 적재
26. Airflow CI/CD 및 배포
27. 백준 문제 관련 DAG 개발기(Scraper, Lambda, S3, Athena)
28. Airflow Meta Database
29. GA4를 통한 Airflow 마트 구성기 (feat. Glue & Athena)
30.Airflow Docker 사용 시, 사용자 생성
31. Airflow User & Role
32. Airflow Pool 개념
33. HTTP Custom Operator 개발기
34. 커스텀 오퍼레이터 (BaseOperator, Sensor)
35. Airflow EC2 터널링 환경 경험기
36. Airflow with Spark (Spark-submit, mac m1, ubuntu, Docker)
37. Flower에 대해서 알아보고 사용해보자 (브로커 감시)
38. AWS Athena operator + base operator + boto3
39. Glue, Athena, Redshift Spectrum을 활용한 데이터 파이프라인 구축기
40. Airflow 에러 (airflow log가 제대로 안나올 때)
41. Airflow를 이용한 로깅 및 모니터링 (1)
41. Airflow를 이용한 로깅 및 모니터링 (2)
42. MySQL Operator 작동기
43. Airflow 구글 챗 알림 기능 만들기
44. Airflow S3 to Postgresql
45. Custom operator - Plugin manager
46. Airflow 모니터링 (with Prometheus, Grafana)
47. Airflow Metadatabase로 RDS 교체
48. Airflow with Test in CI CD
49.Airflow with ECS task operator (Fargate Spot)
50. Airflow on Kubernetes
51. Airflow with DAG Factory pattern
52. Airflow Latest only operator 작성
질문 모음 + reference
53. Airflow logging 최적화(를 꿈꾸며..)
54. Airflow에서 놓치기 쉬운 실수 (Dag parameter, default args)
55. Airflow Timetable

Data Pipelines with Apache Airflow 스터디

1-1. Airflow 소개
1-2. 설치 & 실습
8. Custom 컴포넌트 빌드
11. Airflow 모범 사례
12. 운영환경에서 Airflow 관리
12. Operating Airflow in Production
16. AWS에서의 Airflow

실리콘에서 날아온 데이터 엔지니어링 with Apache Airflow

3. 3주차 과제 정리
4-1. 질의
4주차 과제 설명
4주차 과제. Weather Forecast DAG 구현
Airflow backfill
5주차 - Airflow Deepdive 2
5주차 Summary Table 과제
6주차 Airflow timezone
6주차. Productionizing Airflow
7주차 Spark
Airflow 2 ubuntu 설치
Airflow 터미널 명령어
AWS S3 cmd 확인
crontab guru
git action - airflow
op_kwargs 와 op_args 이용
QnA 모음
계정
아이디어
에러 정리

M1 로컬 Airflow 프로젝트

Airflow local metadb to postgresql database
NFT 파이프라인 프로젝트
Operator
local airflow cli 실행 명령어(server, scheduler, task, dag)
conda + airflow
docker compose airflow 2.5.1
요약
why airflow?
Node architecture
M1 Airflow 설치 using Docker
airflow 설치 후 명령어
airflow connection 세팅
Airflow - Google Drive hook
Airflow - S3 Hook
DAG Triggering DAG
Airflow DAG 객체 파라미터
ETL 개념과 ETL 개발 시 고려해야 하는 원칙들

REFERENCE

Apache Airflow - Workflow 관리 도구(1)
오늘은 Workflow Management Tool인 Apache Airflow 관련 포스팅을 하려고 합니다. 이 글은 1.10.3 버전에서 작성되었습니다 최초 작성은 2018년 1월 4일이지만, 2020년 2월 9일에 글을 리뉴얼했습니다 슬라이드 형태의 자료를 원하시면 카일스쿨 6주차를 참고하시면 좋을 것 같습니다 :)
https://zzsza.github.io/data/2018/01/04/airflow-1/
'BigData/Airflow' 카테고리의 글 목록
https://dydwnsekd.tistory.com/category/BigData/Airflow
ETL 개념과 ETL 개발 시 고려해야 하는 원칙들
0. 시작하며정답이 없다는 것은 참 어려운 것 같습니다. 마치 이 도입부를 쓰는 데에 제가 1시간 30분이 넘는 시간 동안 하얀색 화면을 보며 어떠한 말로 이 포스팅을 시작하면 좋을지 고민한 것처럼요. 본문은 쉽습니다. 제가 이 포스팅에서 쓰고자 한 내용을 전달하면 되니까요. 마무...
https://danbi-ncsoft.github.io/works/2021/07/23/etl_principles.html
lsjsj92.tistory.com
https://lsjsj92.tistory.com/633
Airflow in Docker Metrics Reporting
Use Grafana on top of the official Apache Airflow image to monitor queue health and much more.
https://towardsdatascience.com/airflow-in-docker-metrics-reporting-83ad017a24eb
airflow-docker-metrics
sarahmk125