Configuración de Apache Airflow

Riwi · Cohorte 6 · Analítica de Datos

---

¿Para quién es este repo?
Para todos los que no entendieron muy bien qué hicimos, se perdieron alguna clase o simplemente quieren tener todo documentado en un solo lugar (Yo).

Esta actividad es la continuación de arquitectura de AWS que montamos aqui: AWS Activity

---

Sección 1 / Conceptos previos

1. ¿Qué es Apache Airflow?
2. ¿Qué es un orquestador de tareas?
3. ¿Qué es un DAG?
4. ¿Qué es uv?
5. ¿Qué es PostgreSQL y por qué no SQLite?
6. ¿Qué es una variable de entorno?
7. ¿Qué es .bashrc y qué es .env?
8. ¿Qué es systemd y un archivo .service?

---

Sección 2 / Instalación de Airflow

1. Conectarse al Master por Termius
2. Instalar uv
3. Crear el proyecto
4. Instalar Apache Airflow

---

Sección 3 / Configuración de la base de datos

1. Instalar el driver de conexión
2. Crear la base de datos desde DBeaver o pgAdmin
3. Otorgar permisos al usuario

---

Sección 4 / Variables de entorno

1. Configurar variables en .bashrc
2. Configurar variables en .env
3. Aplicar los cambios
4. Verificar que las variables quedaron definidas

---

Sección 5 / Inicializar Airflow

1. Migrar la base de datos
2. Crear el usuario administrador
3. Abrir el puerto en el Security Group

---

Sección 6 / Servicios systemd

1. Servicio del API Server
2. Servicio del Scheduler
3. Activar y arrancar los servicios
4. Acceder a la interfaz web

---

Sección 7 / Comandos útiles

1. Ver estado de los servicios
2. Ver logs en tiempo real
3. Detener y reiniciar servicios