PORTFÓLIO TÉCNICO // ENGENHARIA & MODELAGEM

DataProfile: Telemetria de Portfólio com Desinflação de Notebooks em Go

public

Motor de telemetria e visualização estatística de portfólio escrito em Go 1.23+ (biblioteca padrão, zero dependências externas) para cientis...

Contexto / Organização: Projeto Autônomo / Open Source
Período: 2026 - Presente
Categoria de Atuação: Data Engineering
Tecnologias: Go 1.23+, GitHub GraphQL v4, GitHub REST v3, Chrome DevTools Protocol (CDP), Kaggle API v1, Hugging Face Hub API, SVG / SMIL, GitHub Actions

Visão Geral Executiva

Motor de telemetria e visualização estatística de portfólio escrito em Go 1.23+ (biblioteca padrão, zero dependências externas) para cientistas de dados, engenheiros de machine learning e pesquisadores quantitativos. Desinfla imagens base64 e saídas de células embutidas em arquivos Jupyter Notebook (.ipynb) antes do cômputo de bytes, varre manifestos de dependências e agrega métricas do GitHub, Kaggle e Hugging Face Hub em 36 painéis SVG paramétricos nas escolas de Edward Tufte, Stephen Few, Alberto Cairo e Nigel Holmes.

Painéis Summary nas Quatro Escolas de Visualização

O motor renderiza cada dimensão analítica e o painel consolidado (summary.svg) nas quatro gramáticas clássicas de visualização estatística:

I. Escola Edward Tufte (summary.svg)
I. Escola Edward Tufte (summary.svg)

Gramática de razão tinta-dados máxima, sem grades externas, com dot-dash plot de código normalizado, supertabelas e sparkline com faixa interquartil.

II. Escola Stephen Few (summary.svg)
II. Escola Stephen Few (summary.svg)

Painel executivo para leitura em três segundos com faixa superior de KPIs, bullet graphs com bandas qualitativas e marcador vertical de meta.

III. Escola Alberto Cairo (summary.svg)
III. Escola Alberto Cairo (summary.svg)

Abordagem editorial de jornalismo de dados com régua carmesim, gráficos lollipop com linha tracejada de referência e nota analítica contextual (↳).

IV. Escola Nigel Holmes & ISOTYPE (summary.svg)
IV. Escola Nigel Holmes & ISOTYPE (summary.svg)

Gramática pictórica com faixa de cabeçalho, blocos unitários de 10% do código, pódio em degraus de progressão no Kaggle e selos visuais da stack.

Arquitetura & Fluxo de Dados

O diagrama abaixo ilustra a topologia e esteira de processamento dos componentes técnicos sanitizados:

flowchart TD
  A[Manifesto profile.yaml + Overrides .env] --> B[Carregador & Normalizador Go 1.23+]
  B --> C1[Coletor GitHub GraphQL v4 & REST v3]
  B --> C2[Coletor Híbrido Kaggle CDP + API v1]
  B --> C3[Coletor Hugging Face Hub REST]
  C1 --> D[Desinflador AST JSON de Notebooks .ipynb]
  C1 --> E[Scanner de Stack pyproject.toml / DESCRIPTION / SQL]
  D --> F[Agregador de Domínio PortfolioData]
  E --> F
  C2 --> F
  C3 --> F
  F --> G[Motor Paramétrico SVG Dual-Surface]
  G --> H1[Escola Tufte]
  G --> H2[Escola Few]
  G --> H3[Escola Cairo]
  G --> H4[Escola Holmes]

Destaques de Engenharia

  • Desinflação de Notebooks (.ipynb): Remoção de imagens base64 e metadados JSON de saída antes da contagem de código-fonte para separar notebooks exploratórios (EDA) de módulos de produção.
  • Coleta Concorrente Multi-Plataforma: Extração paralela via GitHub GraphQL v4/REST v3, Kaggle (headless Chrome CDP combinado à REST API v1) e Hugging Face Hub.
  • Motor SVG Paramétrico Dual-Surface: Renderização determinística de 9 painéis em 4 escolas clássicas (Tufte, Few, Cairo e Holmes), com refluxo tipográfico nativo, animações SMIL e contraste WCAG AA em temas claros (#ffffff) e escuros (#0d1117).

Referências e Comprovações