Airflow Featured EMR on EKS 환경에서 spark driver 와 executor 가 같은 AZ 에 스케쥴링 되도록 하는 방법 (가용성까지 확보하면서) 💡emr-on-eks 환경에서 spark driver pod 와 executor pod 가 서로 다른 AZ(가용영역)에 있으면 AZ 간 통신비용이 많이 발생하게 됩니다. 따라서 spark driver pod 가 쿠버네티스에 의해 특정 노드에 스케쥴링 되었을 때, executor pod 가 해당 driver pod 가 스케쥴링 된 노드의 AZ 와 동일한 AZ에 존재하는 노드에 스케쥴링
K8s Featured Airflow 무중단 이전 최근 EKS 클러스터 버전 업그레이드를, 노드별로 in-place 업그레이드 하는것이 아닌, 새로운 버전의 EKS 를 준비해서 기존버전 -> 신규버전으로 일종의 rolling update를 하는 작업을 진행하게 되었다. 이 때 여러 Addon(Istio, Argocd 등등), 애플리케이션들을 이전했는데, 특히 Airflow 를 무중단으로 이전하는 방법에 대해서 고민하고, 실제로 무중단로 이전한 과정에 대해서 공유해보고자 한다.
