Carlos León
Todos los proyectos

Data products

Chicago Taxi Trips vs Weather

Pipeline en GCP de principio a fin que cruza viajes de taxi de Chicago con datos meteorológicos.

Año
2025
Rol
Data Engineer
Chicago Taxi Trips vs Weather screenshot

El problema

Quería una forma reproducible de analizar cómo afecta el tiempo a la actividad de los taxis, con un pipeline real en lugar de un notebook aislado.

Qué construí

Un flujo analítico completo en Google Cloud: ingesta, infraestructura, transformaciones, orquestación, tests y salida en BI.

  1. 01Weather API
  2. 02Taxi Data
  3. 03Cloud Functions
  4. 04BigQuery
  5. 05dbt
  6. 06Looker Studio

Cómo está hecho

  • Terraform provisiona los recursos de GCP y la infraestructura base.
  • Cloud Functions y jobs programados se encargan de la ingesta y los refrescos.
  • BigQuery guarda los datos raw y modelados, y dbt gestiona las transformaciones.
  • Looker Studio consume los modelos finales para reporting.

Resultados

  • Ingesta, almacenamiento, modelado y reporting conectados en un sistema reproducible.
  • Cercano a patrones reales de producción, con orquestación y CI/CD.

Siguientes pasos

Añadir mejor monitorización y checks de frescura sobre la ingesta y las ejecuciones programadas.

Stack

  • Google Cloud
  • BigQuery
  • dbt
  • Terraform
  • Cloud Functions
  • Looker Studio
  • GitHub Actions

Siguiente proyecto

NBA Data Pipeline