Día 1 - Explorar eventos y definir "usuario activo"

1#data-team | Martes 8:50
2
3Tú  8:50
4Buenos días! Hoy planeo:
5- Explorar los eventos de S3 (estructura, volúmenes, anomalías)
6- Hablar con Sandra sobre la definición de "usuario activo"
7- Empezar el diseño de la tabla staging
8
9Si necesito algo de alguien os aviso 👍
10
11Pablo Herrera  8:52
12📋 Buen plan. Un consejo: cuando explores los eventos, busca
13cosas raras. Timestamps fuera de rango, campos vacíos,
14duplicados. Es la primera vez que alguien mira esos datos
15con ojo crítico. Seguro que hay sorpresas.
16
17Sandra Vidal  8:54
18Cuando llegues a la parte de definición de "activo" búscame 📊
19Tengo opinión fuerte al respecto y quiero que estemos
20alineados ANTES de que construyas la tabla.
21
22    📊 2

1{"event_id": "evt_7f3a2b1c", "event_type": "task_created", "timestamp": "2024-10-04T09:23:41.123Z", "user_id": "usr_4521", "workspace_id": "ws_0892", "properties": {"task_id": "tsk_18923", "board_id": "brd_0445", "has_assignee": true, "has_due_date": false, "priority": "medium"}}
2{"event_id": "evt_8d4c3e2f", "event_type": "task_created", "timestamp": "2024-10-04T09:23:41.456Z", "user_id": "usr_4521", "workspace_id": "ws_0892", "properties": {"task_id": "tsk_18924", "board_id": "brd_0445", "has_assignee": true, "has_due_date": true, "priority": "high"}}
3{"event_id": "evt_9e5d4f3a", "event_type": "board_viewed", "timestamp": "2024-10-04T09:24:02.789Z", "user_id": "usr_1107", "workspace_id": "ws_0334", "properties": {"board_id": "brd_0201", "view_duration_ms": 34521, "cards_visible": 23}}
4{"event_id": "evt_1a2b3c4d", "event_type": "comment_added", "timestamp": "2024-10-04T09:25:11.012Z", "user_id": "usr_2203", "workspace_id": "ws_0892", "properties": {"task_id": "tsk_18900", "comment_length": 142, "has_mention": true}}

Muestra de eventos: JSON Lines, un evento por línea, estructura consistente

1# explorar_eventos.py - Primera exploracion de eventos TaskFlow
2import pandas as pd
3import json
4from collections import Counter
5
6# Cargar JSON Lines (un JSON por linea)
7events = []
8with open('datos/eventos_producto.jsonl', 'r') as f:
9    for line in f:
10        events.append(json.loads(line))
11
12df = pd.DataFrame(events)
13
14print(f"Total eventos en la muestra: {len(df):,}")
15print(f"Columnas: {list(df.columns)}")
16print(f"Tipos de dato:\n{df.dtypes}")
17print(f"\nTipos de evento únicos: {df['event_type'].nunique()}")
18print(f"\nTop 10 eventos por volumen:")
19print(df['event_type'].value_counts().head(10))
20print(f"\nUsuarios únicos: {df['user_id'].nunique():,}")
21print(f"Workspaces únicos: {df['workspace_id'].nunique():,}")
22
23# Rango temporal
24df['timestamp'] = pd.to_datetime(df['timestamp'])
25print(f"\nRango temporal:")
26print(f"  Min: {df['timestamp'].min()}")
27print(f"  Max: {df['timestamp'].max()}")
28print(f"  Días cubiertos: {df['timestamp'].dt.normalize().nunique()}")
29
30# Buscar anomalias basicas
31print(f"\nNulls por columna:")
32print(df.isnull().sum())
33print(f"\nDuplicados por event_id: {df['event_id'].duplicated().sum():,}")

La primera exploración revela la escala: 130.740 eventos en siete meses

1#data-eng | Martes 10:05
2
3Tú  10:05
4Pregunta para quien sepa: estoy explorando los eventos en S3
5y veo 3.998 event_ids duplicados en el extracto de siete meses.
6¿Es esperado o es un bug?
7
8Marcos Delgado  10:08
9Esperado. Kafka at-least-once delivery. Pregúntale a David.
10
11Sandra Vidal  10:09
12Sí, me he encontrado con eso antes 📊 Cuando hagas el staging
13necesitas deduplicar por event_id. Usa ROW_NUMBER() particionado
14por event_id ordenado por timestamp, queda con el primero.
15
16Tú  10:11
17Perfecto, gracias a los dos. Lo tendré en cuenta en el diseño
18de la tabla.
19
20    📊 1

1Sandra Vidal (Meet, 10:30 AM):
2
3"Oye, antes de que hagas nada con esos eventos necesitamos
4hablar de la definición de usuario activo. Ahora mismo hay
5TRES definiciones diferentes circulando por la empresa:
6
71. Lucía dice: usuario activo = alguien que ha hecho login.
8   Problema: login no implica uso real. Puedes hacer login,
9   mirar el dashboard 2 segundos y irte.
10
112. El CEO mira Amplitude: cuenta cualquier pageview.
12   Problema: un bot o un script de healthcheck cuenta como
13   usuario activo.
14
153. Mi propuesta: activo = alguien que ha hecho una ACCIÓN
16   con INTENCIÓN. Crear tarea, completar tarea, comentar,
17   asignar, subir archivo. No solo mirar.
18
19Si no decidimos ahora, vamos a tener 3 números de retención
20diferentes y eso es PEOR que no tener ninguno."
21
22Tú: "Tiene sentido. ¿Y si definimos dos niveles? Core active
23para acciones con intención, y broad active que incluye
24también board_viewed y search_performed? Así reportamos el
25core para retención pero tenemos el broad para contexto."
26
27Sandra: "...me gusta mucho eso. Es lo que en Cabify
28llamábamos L1 activity y L2 activity. Vamos con eso.
29Haz un listado de qué eventos entran en cada categoría
30y me lo pasas. Lo documento en el Notion de definiciones
31y se lo presentamos a Pablo juntos."
32
33Tú: "Hecho. Te lo tengo en una hora."
34
35Sandra: "Perfecto. Y oye... buena propuesta. Se nota que
36no es tu primer rodeo." (sonríe)

1# clasificar_eventos.py - Mapeo de eventos a categorías
2# Definicion acordada con Sandra (y que presentaremos a Pablo)
3
4CORE_ACTIVE_EVENTS = [
5    'task_created',        # Usuario crea una tarea
6    'task_completed',      # Usuario marca tarea como completada
7    'task_assigned',       # Usuario asigna tarea a alguien
8    'comment_added',       # Usuario escribe un comentario
9    'file_uploaded',       # Usuario sube un archivo
10    'board_created',       # Usuario crea un tablero nuevo
11    'automation_created',  # Usuario crea una automatización
12]
13
14BROAD_ACTIVE_EVENTS = CORE_ACTIVE_EVENTS + [
15    'board_viewed',           # Ve un tablero (intencion ambigua)
16    'task_viewed',            # Ve el detalle de una tarea
17    'search_performed',       # Busca algo en el workspace
18    'filter_applied',         # Aplica un filtro en un board
19    'notification_clicked',   # Hace click en una notificación
20    'dashboard_viewed',       # Ve un dashboard de proyecto
21    'report_exported',        # Exporta un reporte
22]
23
24SYSTEM_EVENTS = [
25    'user_login',                  # Login (no implica uso)
26    'session_started',             # Sesion técnica
27    'session_ended',               # Fin de sesion
28    'email_opened',                # Abrio un email transaccional
29    'push_notification_sent',      # Se le envio un push
30    'password_reset_requested',    # Pidio reset de password
31    'workspace_member_invited',    # Invito a alguien (admin action)
32    'subscription_upgraded',       # Cambio de plan (billing)
33    'subscription_downgraded',     # Bajada de plan
34    'invoice_generated',           # Factura generada
35]
36
37# Verificar cobertura
38all_event_types = set(df['event_type'].unique())
39classified = set(CORE_ACTIVE_EVENTS + BROAD_ACTIVE_EVENTS + SYSTEM_EVENTS)
40unclassified = all_event_types - classified
41
42print(f"Tipos de evento totales: {len(all_event_types)}")
43print(f"Clasificados: {len(classified)}")
44print(f"Sin clasificar: {len(unclassified)}")
45if unclassified:
46    print(f"  Pendientes: {sorted(unclassified)}")

Clasificación de eventos - la base de toda métrica de actividad

1-- DDL: Tabla staging de eventos de producto en Redshift
2-- Convencion de Sandra: stg_product_events
3-- El equipo downstream (Sandra con dbt) construira modelos encima
4
5CREATE TABLE staging.stg_product_events (
6    -- Identificacion del evento
7    event_id          VARCHAR(32)    NOT NULL,   -- PK natural, dedup key
8    event_type        VARCHAR(64)    NOT NULL,   -- task_created, board_viewed...
9    event_category    VARCHAR(16)    NOT NULL,   -- 'core', 'broad', 'system'
10    
11    -- Temporalidad
12    event_timestamp   TIMESTAMP      NOT NULL,   -- UTC siempre
13    event_date        DATE           NOT NULL,   -- Particion logica
14    
15    -- Contexto del usuario
16    user_id           VARCHAR(32)    NOT NULL,
17    workspace_id      VARCHAR(32)    NOT NULL,
18    
19    -- Propiedades frecuentes aplanadas (para queries rapidas)
20    task_id           VARCHAR(32),               -- NULL si no aplica
21    board_id          VARCHAR(32),               -- NULL si no aplica
22    
23    -- JSON crudo para propiedades adicionales
24    properties_json   VARCHAR(4096),             -- JSON string original
25    
26    -- Metadatos de ingesta (trazabilidad)
27    ingested_at       TIMESTAMP      DEFAULT GETDATE(),
28    source_file       VARCHAR(256),              -- Ruta en S3 del archivo fuente
29    
30    PRIMARY KEY (event_id)
31)
32DISTSTYLE KEY
33DISTKEY (user_id)          -- Queries agrupan por usuario (cohortes)
34SORTKEY (event_timestamp)  -- Queries filtran por rango de fecha
35;

DDL de la tabla staging - decisiones de DISTKEY y SORTKEY explicadas

1Lucía Fernández  15:32
2Ey, Pablo me dijo que estás con los eventos 🚀
3Pregunta rápida: ¿puedes decirme cuántos usuarios ACTIVOS
4tuvimos la semana pasada? Es para una slide de mañana.
5No necesita ser exacto-exacto, un orden de magnitud.
6
7Tú  15:45
8Hola Lucía! Estoy en ello. Una pregunta antes de darte
9el número: cuando dices "activos", ¿te refieres a acciones
10core (crear/completar tareas, comentar) o cualquier uso
11incluyendo solo ver boards?
12
13Lo pregunto porque estamos definiendo la métrica con Sandra
14y queremos asegurarnos de que todos usemos el mismo número.
15
16Lucía Fernández  15:47
17Mmm buena pregunta 🤔
18Para la slide creo que core tiene más sentido. Los que
19DE VERDAD usan el producto, no los que solo miran.
20¿Cuánto te lleva?
21
22Tú  15:49
23Dame 30 min, hago un conteo rápido con la muestra.
24
25Lucía Fernández  15:49
26Eres un crack 🙌

1#data-team | Martes 16:35
2
3Tú  16:35
4@Pablo @Sandra - Propuesta de definición de "usuario activo":
5
6CORE ACTIVE: usuario que en un período dado ha realizado al
7menos 1 acción con intención:
8- task_created, task_completed, task_assigned
9- comment_added, file_uploaded
10- board_created, automation_created
11
12BROAD ACTIVE: core + acciones de consumo:
13- board_viewed, task_viewed, search_performed
14- filter_applied, notification_clicked
15- dashboard_viewed, report_exported
16
17SYSTEM: no cuenta como actividad
18- login, session_started/ended, emails, push, billing
19
20Para retención usamos CORE. Para engagement general, BROAD.
21Sandra está de acuerdo. Lucía también (le pregunté).
22
23Pablo Herrera  16:42
24👍 Perfecto. Me gusta que sea una definición dual.
25Documéntalo en el Notion de métricas y a partir de ahora
26esa es la fuente de verdad.
27Una cosa: añade la fecha de vigencia. "Desde 2024-10-08,
28esta es la definición oficial." Así si en el futuro
29cambiamos, queda histórico.
30
31Sandra Vidal  16:44
32+1 📊 Ya lo enlazo desde el schema.yml de dbt.
33Bien hecho!
34
35    ✅ 2   📋 1