InsightsProjeto · Envest

Construímos 3 ferramentas de análise numa sessão. Eis o que quebrou, e por que esse é o ponto.

Construir três ferramentas de análise para o Envest revelou seis bugs reais. Dois passaram em todos os testes e só apareceram na tela.

Uma análise recente no Envest (o P/L contra a história real do setor, a estrutura de ondas de Elliott e a correlação com uma série macro real, as três coisas sobre a mesma empresa e no mesmo dia) precisava de três capacidades que não existiam no produto uma hora antes de começarmos. Isto é o que foi preciso para construí-las, e os seis bugs reais que apareceram no caminho, porque "compilou e os testes passaram" e "funciona de verdade" acabaram sendo duas afirmações diferentes, duas vezes.

O que construímos

  1. Uma nova ferramenta de valuation setorial: o P/L atual de uma empresa frente à mediana dos seus pares do setor, e onde ele fica em relação à faixa histórica do próprio setor em cerca de 10 anos (com o histórico de múltiplos de um provedor externo de dados de mercado, sem o limite da nossa janela de ingestão local). Em todos os casos de teste, ela se distinguiu corretamente, na primeira tentativa, de duas perguntas relacionadas que soam parecido.
  2. Um bug real de metodologia, encontrado ao construí-la e não depois de publicar: a primeira versão tirava a média do P/L dos pares. Uma empresa desse grupo teve lucro GAAP perto de zero durante anos (algo real, não um erro de dados), o que gerava um P/L anual genuíno acima de 1.000 num ano. Corrigimos para mediana nas duas camadas (a foto atual e a faixa histórica), e a faixa passou de um implausível 27,59–147,29 para um realista 20,84–37,91.
  3. Uma camada genérica de anotações em gráficos: agora é possível desenhar pivôs e níveis de suporte e resistência em qualquer gráfico de preços das respostas. Foi construída uma vez, de forma genérica, para que Elliott não seja a última ferramenta de detecção de padrões a precisar dela.
  4. Uma nova ferramenta de estrutura de ondas de Elliott: detecção determinística de pivôs em zigue-zague e um verificador das 3 regras estruturais de Elliott. Cada caso de teste foi verificado à mão antes de ser considerado confiável, não só executado, e assim um bug real na lógica de fallback da detecção de pivôs foi encontrado e corrigido antes, e não depois.
  5. Uma lacuna de roteamento, encontrada e corrigida: o roteador de consultas do sistema não reconhecia "estrutura de ondas de Elliott" como uma pergunta analítica e a mandava para a busca em documentos, onde corretamente não encontrava nada e dizia isso. Corrigimos ampliando a descrição do escopo do roteador e confirmamos rodando de novo ao vivo, sem supor.
  6. Um bug que só apareceu ao gravar de verdade: um gráfico com 500 pontos diários quebrava a animação de revelação de palavras do frontend (feita para texto), e o gráfico não conseguia ser desenhado antes de passados mais de 15 segundos. Corrigimos reaproveitando a convenção de amostragem que todos os outros gráficos de preços do código já usavam: de 500 para 151 pontos, forçando todo pivô real a entrar na amostra, para que nenhum ponto de uma onda desapareça em silêncio do seu próprio gráfico. A detecção de pivôs continua rodando sobre a série diária completa; só a cópia exibida fica mais leve.
  7. Outro, que também só apareceu ao gravar: a lógica de desenho dos marcadores do item 3 estava construída e passava na checagem de tipos, mas o serviço em execução ainda servia um build de uma semana antes: a imagem tinha sido gerada de novo, mas o contêiner nunca tinha sido reiniciado com ela. O gráfico aparecia; os marcadores das ondas não (0 de 6, confirmado contando os elementos do DOM antes e depois da correção).
  8. Uma nova ferramenta de correlação macro: a correlação de Pearson entre a variação de período a período de uma série macro real (a taxa do Fed, o rendimento dos títulos do Tesouro, o CPI; não o nível, que daria um número enganoso) e o retorno de uma empresa na mesma janela, alinhados às datas da série macro usando o preço daquele dia ou do anterior, nunca do seguinte. Cada caso de teste da matemática foi verificado à mão, o que pegou um erro nos nossos próprios dados de teste: uma série constante produz uma correlação indefinida, e não uma "proporcionalidade perfeita", como tínhamos suposto no início.

O que "verificado" significou aqui

As quatro respostas de exemplo dessa análise são respostas reais do pipeline real, confirmadas de forma independente como fundamentadas e com citações checáveis; não foram montadas a partir de chamadas de funções isoladas. No caso da correlação macro, o próprio controle antifabricação do sistema sinalizou um problema uma vez e se corrigiu sozinho na única nova tentativa. A suíte completa de testes automatizados passou em 139 de 141 casos; as duas exceções eram instabilidades anteriores, já documentadas e confirmadas como alheias a este trabalho.

Mas os bugs dos itens 6 e 7 são os que valem uma reflexão. As duas ferramentas passaram em todos os testes unitários, em todas as checagens de tipos e em todos os builds limpos antes que qualquer um dos dois bugs fosse encontrado. Nenhum era visível pelo backend: um era uma animação do frontend competindo com um tamanho de dados que ninguém tinha atingido antes; o outro, um serviço rodando em silêncio o código da semana anterior enquanto o desta semana estava construído e sem uso. Os dois só apareceram quando a gravação real começou e o gráfico real não apareceu na tela.

"Está verificado" tem pelo menos três significados: os dados estão corretos, o código está correto e o que o usuário vê está correto.

Esta sessão é um caso real em que as duas primeiras eram verdade e a terceira não, duas vezes e por dois motivos sem relação entre si.

Este trabalho foi ao ar dentro do Envest, nossa plataforma de análise e inteligência de carteiras para analistas de ações.

Compartilhe este insight

LinkedIn