남는건 기록뿐

Airflow에서 Sensor는 외부 조건이 충족될 때까지 기다렸다가 다음 Task를 실행한다. 예를 들어 다음과 같은 조건을 확인한다. Source File이 도착했는가 상위 시스템의 Batch가 완료됐는가 특정 Partition이 생성됐는가 여러 Source가 모두 준비됐는가 업무 마감 시각 전에 데이터가 도착했는가 Databricks에도 SQL 결과를 평가하는 Alert와 Lakeflow Jobs의 조건 분기 기능이 있다. 그렇다면 Databricks Alert를 Airflow Sensor처럼 사용해 Pipeline을 Trigger할 수 있을까? 결론부터 말하면 가능하지만, 완전히 같은 방..

Databricks에서 Alert를 만드는 일 자체는 어렵지 않다. SQL을 작성하고, 조건과 임계값을 정하고, Slack이나 이메일을 연결하면 된다. 하지만 운영 환경에서는 Alert의 개수보다 다음 질문이 더 중요하다. 이 Alert는 실제 장애를 조기에 발견하는가? 같은 장애를 5분마다 반복해서 알리지 않는가? 알림을 받은 사람이 원인과 영향 범위를 바로 판단할 수 있는가? 담당자가 퇴사하거나 권한이 변경돼도 계속 동작하는가? Alert Query가 실패하거나 실행 자체가 누락된 사실도 감지할 수 있는가? Alert를 실행하는 SQL Warehouse 비용이 감시 대상보다 커지지는 ..

Databricks에서 클러스터를 만들 때 가장 흔한 질문은 다음과 같다. Worker는 몇 대가 필요한가? M, C, R, I 계열 중 무엇을 선택해야 하는가? 작은 Worker를 많이 쓰는 것과 큰 Worker를 적게 쓰는 것 중 어느 쪽이 좋은가? Autoscaling 범위는 어떻게 정해야 하는가? Photon과 Spot을 켜면 항상 비용이 줄어드는가? Driver와 Worker를 같은 Instance로 구성해도 되는가? 이 질문에 하나의 정답은 없다. 같은 데이터 크기라도 Join, Aggregation, Python UDF, Streaming State, 파일 수와 Partit..

Databricks 비용을 처음 확인할 때는 보통 Workspace별 DBU나 SKU별 사용량부터 본다. 하지만 실제 운영에서는 곧 다음 질문을 만나게 된다. 이 비용은 어느 본부와 팀이 사용했는가? 특정 Project의 ETL·BI·ML 비용은 얼마인가? Production과 Development 비용을 분리할 수 있는가? Shared Compute 비용은 누구에게 배부해야 하는가? Tag가 없는 비용은 전체의 몇 퍼센트인가? Budget Alert가 울렸을 때 어떤 Resource를 줄여야 하는가? 이 질문에 답하려면 비용이 발생한 뒤 사람이 Resource 이름을 해석하는 방식으로는 부족하..

ETL Pipeline을 처음 만들 때는 보통 Source를 읽고, 변환하고, TargetTable에 저장하는 코드에 집중한다.하지만 Pipeline 수가 늘어나면 운영자가 궁금해하는 것은 코드 내부의변환식만이 아니다.어떤 Table을 오늘 적재해야 하는가?각 Table은 Full Load, Incremental Load, CDC 중 어떤 방식으로처리해야 하는가?마지막으로 정상 처리된 시점은 어디인가?실패한 실행을 재시도하면 데이터가 중복되지 않는가?이번 실행에서 몇 건을 읽고, 적재하고, 제외했는가?SLA를 넘긴 적재와 반복적으로 실패하는 Table은 무엇인가?이 질문에 답하지 못하면 ETL은 실행되는 코드일 뿐, 운영 가능한 데이터플랫폼이라고 보기 어렵다.이를 해결하는 핵심 구성요소가 관리테이블(Co..

이 글은 2026년 8월 27일 Databricks on AWS 공식 문서를 기준으로 작성했다. Unity AI Gateway는 빠르게 변경되는 영역이며 Managed MCP Server와 Service Policy 등 일부 기능은 Preview 또는 Beta다. 실제 도입 전에는 사용하는 Cloud·Region·Workspace에서 최신 지원 범위와 가격을 다시 확인해야 한다. 들어가며 기업용 AI Agent를 운영하려면 두 종류의 서빙이 필요하다. Model Serving: LLM이 질문을 이해하고 답변·계획·코드를 생성한다. MCP Serving: Agent가 데이터 조회, 검색, SaaS ..