반응형
SMALL
슬기로운 개발생활
-
데이터 적재 시스템 구축슬기로운 개발생활 2024. 2. 5. 19:41
신규 데이터 분석을 위해, 선발된 데이터들을 BigQuery와 Mixpanel에 등록해야 한다. ■ As-is BigQuery에 주기적으로 데이터를 insert, update해야한다. EC2 to BigQuery는 전송 가능하지만, EC2 to Mixpanel은 보안상 전송할 수 없다 ■ Challenge 주기적으로 데이터를 전송하도록 Jenkins Scheduler사용. BigQuery to Mixpanel로 데이터를 전송하도록 결정. GCP의 vm instance에 cron으로 GCP Scheduler 사용. bq 명령어를 사용하여 Buckit에 전송 데이터 적재. Cloud Function의 Trigger를 사용하여 Buckit Update시 Mixpanel로 데이터 전송. ■ To-be 신규 데이..