Real-time Meeting Copilot
Copiloto de reuniones para macOS que transcribe en tiempo real el audio del sistema y el micrófono, identifica quién habla y mantiene un resumen en vivo, puntos clave y respuestas sobre la reunión, con una app complementaria para iOS.
Arquitectura
Shell de Tauri 2 en Rust que lanza procesos auxiliares. Un helper en Swift captura el audio con ScreenCaptureKit y lee nombres en pantalla con Vision OCR; un motor en Python envía ambos canales a Deepgram y ejecuta workers de LLM (resumen, etiquetas de hablante, hallazgos, preguntas y respuestas, títulos) sobre un bus de eventos. La identidad del hablante combina huellas de voz, re-diarización y capturas de ventana. Una app de iOS hecha con Expo avisa cuando alguien te menciona por tu nombre, muestra una Live Activity y permite preguntarle a la reunión a través de un relay WebSocket. Backend en AWS CDK (HTTP API con Lambda, relay, hosting y monitoreo), inicio de sesión OAuth por código de dispositivo y llaves de transcripción de corta duración con alcance limitado.
Aspectos clave
- Autor único, más de 200 commits
- Identificación de hablantes por huella de voz y contexto de pantalla
- App de iOS con Live Activities y notificaciones
- Llaves de corta duración, secretos en SSM
- Derivado como PWA para seguir en el celular una reunión que no se escucha bien