OpenAI apresenta prévia de pontuação de 77% em exploits, mas não comprova a comparação

BigGo Finance e Gizmodo Japan informam que a OpenAI apresentou o resultado de um modelo sem nome e ainda não lançado, que ficou acima do especialista em cibersegurança já existente GPT-6 Cyber, com 52.6%. Um resultado de aproximadamente 38% para o Mythos 5.2, da Anthropic, teria sido mencionado oralmente como valor de referência, em vez de aparecer no gráfico. Esses são relatos secundários dos resultados apresentados, não uma avaliação revisada de forma independente.⁠1⁠2

Segundo o Gizmodo Japan, a apresentação comparou inicialmente o GPT-6 Astra, de uso geral, com o GPT-6 Cyber. Em seguida, surgiu acima deles uma linha vermelha para o modelo de cibersegurança de próxima geração. O material disponível para este relatório não estabelece um resultado numérico para o GPT-6 Astra; o número de 77.0% corresponde ao sistema ainda não lançado, não ao GPT-6 Cyber.⁠2

A diferença entre 77.0% e 52.6% é de 24.4 pontos percentuais. Isso não representa uma melhora relativa de 24.4%, e chamar o resultado de um ganho de cerca de 25% confunde duas medidas diferentes. Da mesma forma, a proporção de aproximadamente dois para um em relação à referência aproximada do Mythos diz respeito a essas pontuações específicas. Ela não demonstra que o novo modelo da OpenAI seja duas vezes mais eficaz em cibersegurança de modo geral.⁠1⁠2

Também é preciso ter cuidado com o momento do evento. Em seu relato em japonês, o Gizmodo Japan situa a apresentação nas primeiras horas de 13 de novembro de 2026. O vídeo vinculado se chama «Cyber at the Frontier», em vez do título invertido usado naquela cobertura. Os metadados de publicação de 10 de novembro não estabelecem quando a apresentação ocorreu, e não havia uma transcrição legível disponível para verificar diretamente os trechos sobre o benchmark.⁠2⁠11

O ExploitGym testa uma habilidade mais restrita — e mais consequente — do que simplesmente identificar código defeituoso. Um agente recebe uma entrada de programa que aciona uma vulnerabilidade e, em seguida, tenta transformá-la em um exploit funcional. O sucesso significa produzir um impacto concreto na segurança, como acessar um arquivo sem permissão ou executar código não autorizado. Os autores do benchmark distinguem a vulnerabilidade do ataque que ela pode viabilizar.⁠12⁠13

Essa distinção é importante para os defensores. Encontrar uma vulnerabilidade deixa uma questão prática: o que alguém poderia realmente fazer com ela? Demonstrar a exploração pode ajudar a determinar quais correções merecem atenção urgente. A mesma capacidade também pode reduzir o trabalho que um atacante precisa fazer. Nada nesta prévia estabelece que uma organização tenha sido atacada; a preocupação é com o que um sistema mais capaz de criar exploits poderia tornar possível.⁠13

A descrição original do ExploitGym foi enviada em 11 de maio de 2026 como preprint e não passou por revisão por pares. Ela descreve 898 instâncias extraídas de vulnerabilidades do mundo real em aplicativos comuns, no mecanismo JavaScript V8 do Google e no kernel do Linux, o núcleo do sistema operacional. Os pesquisadores variaram as proteções de segurança aplicadas às instâncias e empacotaram as configurações em contêineres de software reproduzíveis.⁠12⁠13

Essas escolhas de projeto não são incidentais. A exploração depende das proteções e das condições de execução em torno de um bug, além da capacidade do agente de raciocinar sobre ele. A avaliação original constatou que a exploração continuava sendo difícil, mas que agentes de ponta conseguiam explorar uma parcela significativa das vulnerabilidades testadas e mantinham algum sucesso com defesas amplamente usadas ativadas.⁠13

Naquela avaliação anterior, as configurações mais fortes do Claude Mythos Preview e do GPT-5.5 produziram 157 e 120 exploits funcionais, respectivamente. Esses são modelos diferentes dos da nova comparação. Nem essas contagens nem as 898 instâncias do benchmark original estabelecem o denominador por trás das porcentagens de novembro. Para transformá-las em um gráfico de progresso, seria preciso primeiro igualar as tarefas e as condições.⁠12⁠13

Os relatos que acompanham a apresentação também atribuem ao GPT-6 Cyber a descoberta de 81 vulnerabilidades de alta gravidade até então desconhecidas no Firefox e a análise de cerca de 1,000 vulnerabilidades do Linux em uma única execução, com geração de patches. São alegações sobre o especialista já existente, não resultados verificados para o modelo ainda não lançado. Analisar vulnerabilidades do Linux não significa descobrir 1,000 falhas novas.⁠1⁠2

Tampouco gerar um patch significa que um reparo foi validado, aceito ou implantado. As informações disponíveis não apresentam registros de vulnerabilidades ou resultados de patches correspondentes que permitam aos defensores verificar essas alegações. Uma correção proposta ainda precisa passar por revisão de engenharia e testes antes de poder ser considerada um reparo bem-sucedido.⁠1⁠2

O relato separado do Gizmodo Japan sobre a demonstração de uma ferramenta defensiva da OpenAI descreve esse ponto de controle humano: a IA propõe alterações, uma pessoa as revisa e o sistema aplica as correções aprovadas. Essa é uma distinção útil entre produzir trabalho de segurança e comprovar que ele é sólido. Não é uma confirmação independente dos totais do Firefox ou do Linux.⁠4

Os detalhes ausentes da avaliação vão muito além do nome do modelo. A nova comparação não informa o número de tarefas, a versão do benchmark, a seleção de vulnerabilidades nem as regras de pontuação. Também não esclarece as configurações precisas dos modelos, os prompts, as ferramentas, os limites de tentativas nem os orçamentos de tempo ou computação — e se essas condições eram equivalentes entre os modelos.⁠1⁠2

Execuções repetidas e estimativas de incerteza ajudariam a mostrar se a diferença divulgada é estável. Controles contra contaminação ajudariam a determinar se a exposição prévia ao material de teste afetou o desempenho. Sem esses detalhes, a conclusão defensável é que há uma liderança substancial divulgada no benchmark, não uma vantagem medida em segurança no mundo real em todos os aspectos.

O modelo sem nome ainda não foi lançado. As evidências disponíveis não estabelecem uma data de lançamento pública, uma política de acesso ou salvaguardas específicas. Portanto, o próximo anúncio importante não precisa ser necessariamente uma pontuação maior: pode ser uma avaliação que outros consigam examinar, acompanhada de regras de acesso que expliquem como a OpenAI pretende administrar uma capacidade valiosa tanto para defensores quanto para atacantes.⁠1⁠2