agp-media: Toolkit Unificado de Transcrição, OCR e NLP para Pesquisas de Campo

[!NOTE] Sanitized Technical Specification (proprietary_sanitized): This technical sheet is an authorized public specification adhering to strict intellectual property compliance and Brazilian LGPD (Lei Geral de Proteção de Dados) compliance. Proprietary source code, production database instances, raw databases, confidential credentials, and client Personally Identifiable Information (PII) remain strictly protected and are not exposed.

Especificação Técnica Sanitizada (proprietary_sanitized): Ficha técnica pública autorizada em estrita conformidade com a Lei Geral de Proteção de Dados (LGPD) e diretrizes de propriedade intelectual. Código-fonte, instâncias de produção, credenciais confidenciais e dados pessoais identificáveis (PII) protegidos.

Ficha técnica pública autorizada sob diretriz proprietary_sanitized. Arquivos de áudio originais de entrevistas e formulários de pesquisa de campo permanecem protegidos sob estrito sigilo.

Contexto / Organização: Instituto de Pesquisas Aplicadas & Inteligência de Campo
Período: 2025 - 2026
Categoria de Atuação: Data Engineering
Tecnologias: Python, OpenAI Whisper, Google STT, Gemini API, PaddleOCR, Mistral, Pydantic, FFmpeg, CLI / Typer

Visão Geral Executiva

Toolkit modular em linha de comando (CLI) desenvolvido para processar dados de grupos de discussão, entrevistas em profundidade e levantamentos de campo. Executa conversão e compressão de mídia, transcrição de áudio com diarização de interlocutores (Whisper, Gemini, Google STT), OCR de formulários físicos e análise semântica estruturada em JSON canônico.

Arquitetura & Fluxo de Dados

O diagrama abaixo ilustra a topologia e esteira de processamento dos componentes técnicos sanitizados:

flowchart TD
  A[Áudios & Vídeos Brutos de Campo] --> B[agp-media convert / compress / split]
  B --> C[agp-media transcribe: Whisper / Google STT / Gemini]
  D[Formulários Físicos / PDFs] --> E[agp-media ocr: PaddleOCR]
  C --> F[agp-media unify: JSON Canônico Estruturado]
  E --> F
  F --> G[agp-media analyze: Profiling Qualitativo & Sentimento]
  G --> H[agp-media export: Relatórios Executivos DOCX/MD]

Destaques de Engenharia

• Pipeline Multimodelo: Suporte configurável a múltiplos provedores de speech-to-text e LLMs para diarização e análise de sentimento.
• Engenharia Multimodal: OCR avançado de formulários físicos e unificação estruturada de transcrições em JSON canônico.
• Alta Produtividade Operacional: Empacotamento via pipx com interface de linha de comando padronizada para analistas de campo.