Dois Revisores, a Mesma Questão, Decisões Diferentes: Como Medir Isso

Neste artigo

Para saber se um processo de revisão de itens é reprodutível, uma proporção dos artefatos fixada de antemão precisa ser avaliada de forma independente por dois revisores cegos entre si, com a concordância calculada sobre essas avaliações independentes antes de qualquer adjudicação. Isso importa porque consenso obtido por discussão pode esconder reprodutibilidade inicial baixa, e um coeficiente calculado depois de uma conversa entre revisores mede a conversa, não o instrumento. Quatro dos sete portões de validação de um banco de questões dependem exclusivamente de julgamento humano, e sem essa medição prévia, o que a instituição registra é opinião de especialista, não controle de qualidade.

Por que julgamento de especialista precisa ser auditado?

Quatro dos sete portões descritos no arcabouço de validação de artefatos gerados por IA repousam diretamente em julgamento de especialista: a revisão clínica e de conteúdo, a revisão de redação de item e linguagem, o alinhamento ao blueprint e a aprovação final (DESTEFANI; FERREIRA; DESTEFANI, 2026). Nenhum desses quatro portões produz um número calculado automaticamente. Cada um produz uma decisão humana documentada, e uma decisão humana documentada só vale como controle de qualidade se for consistente entre quem a toma.

O raciocínio é simples e incômodo. Se dois revisores clinicamente competentes, com formação equivalente e acesso às mesmas diretrizes, avaliam a mesma questão e chegam a decisões diferentes com frequência relevante, o portão não está filtrando artefatos de forma confiável. Ele está registrando a opinião de quem, por acaso, avaliou aquele item naquele dia. Isso não é uma crítica à competência do especialista individual. É a distinção entre ter um especialista e ter um processo: o especialista traz conhecimento clínico e pedagógico, o processo precisa garantir que esse conhecimento produza decisões estáveis quando aplicado por pessoas diferentes, ou pela mesma pessoa em momentos diferentes.

Para instituições que já usam ou pretendem usar geração assistida por IA na construção de banco de questões, essa distinção tem consequência prática direta. Um relatório para o NDE que descreve "revisão por especialistas em três etapas" sem nenhuma medida de concordância entre revisores está descrevendo um fluxo de trabalho, não uma evidência de qualidade. Em uma auditoria, ou diante de questionamento sobre a origem de itens que entraram em prova, essa lacuna é exatamente o ponto onde a defesa institucional se esvazia.

Leia tambémSete Portões Antes de uma Questão Gerada por IA Entrar na Prova →

Como se desenha a checagem de reprodutibilidade?

O desenho de uma checagem de reprodutibilidade segue quatro elementos fixos, e cada um existe para fechar uma porta específica por onde o resultado poderia ser distorcido. Primeiro, define-se uma proporção de artefatos, fixada de antemão, que será submetida à checagem. Fixar essa proporção antes de ver os resultados evita que a instituição selecione, depois do fato, apenas os casos mais fáceis ou mais bem-sucedidos para reportar.

Segundo, dois revisores avaliam essa amostra de forma independente e cegos entre si. Independência significa que nenhum dos dois vê a decisão do outro antes de registrar a própria. Cegamento mútuo significa que nenhum sabe quem é o outro avaliador, o que evita deferência hierárquica, como um revisor júnior ajustando sua nota para se alinhar a um revisor sênior conhecido.

Terceiro, a concordância é calculada sobre essas avaliações independentes, antes de qualquer adjudicação. Este é o ponto onde a maioria dos processos de revisão de item falha silenciosamente, e a próxima seção trata dele em detalhe.

Quarto, as divergências identificadas são então adjudicadas, geralmente por um terceiro revisor ou por discussão entre os dois originais, e essa adjudicação é registrada separadamente da estatística de concordância. Separar os dois registros importa porque eles respondem perguntas diferentes: a estatística de concordância diz o quanto o instrumento de revisão é reprodutível: a adjudicação diz qual foi a decisão final sobre aquele item específico. Misturar os dois números produz um relatório que parece mais robusto do que é.

Por que calcular a concordância depois da discussão não vale?

Calcular a concordância depois da discussão não vale porque, quando dois revisores conversam até chegar a um acordo, a taxa de acordo final tende à unanimidade por construção, e uma unanimidade construída por discussão não informa nada sobre a reprodutibilidade do instrumento de revisão. Essa é a seção que, entre gestores acadêmicos que já operam algum tipo de revisão por pares de itens, mais frequentemente revela um erro de desenho que passou despercebido.

O mecanismo é direto. Dois revisores divergem inicialmente sobre um item, um o classifica como aprovado e outro como "requer modificação". Eles se sentam, discutem, um cede ao argumento do outro ou os dois chegam a uma posição intermediária. Se a instituição calcular a concordância nesse ponto, o resultado será próximo de 100%, porque a discussão foi desenhada justamente para eliminar a divergência. O que esse número mede é a capacidade dos dois revisores de conversarem até convergir, uma habilidade social real, mas irrelevante para a pergunta que importa: será que, sem conversar, os dois revisores teriam chegado à mesma decisão?

O número que interessa para avaliar a reprodutibilidade do processo é o do primeiro olhar, isolado, antes de qualquer troca de informação entre os avaliadores. É esse número que revela se as diretrizes de revisão, o treinamento dos revisores e os critérios declarados produzem decisões estáveis quando aplicados de forma independente. Uma instituição que reporta apenas a concordância pós-discussão está, na prática, medindo a qualidade da sua reunião de adjudicação, não a qualidade do seu instrumento de triagem.

Qual estatística usar em cada caso?

A estatística apropriada decorre da escala de medida das decisões dos revisores e do número de avaliadores envolvidos, não de preferência ou de familiaridade prévia com um coeficiente específico. O paper especifica três cenários canônicos, cada um exigindo uma declaração explícita de parâmetros que muda o resultado.

Situação	Estatística apropriada	O que o plano precisa declarar
Dois revisores, categorias ordinais (as cinco categorias de desfecho da aprovação final, por exemplo)	Kappa de Cohen ponderado	Se os pesos são lineares ou quadráticos: os dois penalizam divergência distante de formas diferentes e não são intercambiáveis
Mais de dois revisores avaliando o mesmo artefato	Kappa de Fleiss	Que trata as categorias como não ordenadas; quem quiser preservar a ordem deve declarar como fará isso, em vez de adotar Fleiss por padrão
Avaliação contínua (escore somado de qualidade de redação, por exemplo)	Coeficiente de Correlação Intraclasse (ICC)	O modelo, se reporta medida única ou média, e se o alvo é concordância absoluta ou consistência

A escolha entre kappa de Cohen ponderado e kappa de Fleiss não é estética. Quando a aprovação final classifica um item em uma das cinco categorias de desfecho, rejeitado, requer modificação, aprovado apenas para rascunho, aprovado para pilotagem ou aprovado para uso com escore, essas categorias têm ordem substantiva: a distância entre "rejeitado" e "aprovado para uso com escore" é maior do que a distância entre "aprovado para pilotagem" e "aprovado para uso com escore". Um kappa ponderado com pesos quadráticos penaliza essa divergência distante de forma mais severa do que pesos lineares. Declarar qual dos dois foi usado é parte do que torna o número auditável.

O kappa de Fleiss resolve o problema de ter mais de dois avaliadores, mas ao custo de tratar as categorias como se não tivessem ordem alguma, o que, para categorias como as da aprovação final, descarta informação relevante. Um programa que precisa de mais de dois revisores e quer preservar a estrutura ordinal não deve adotar Fleiss por comodidade: precisa declarar explicitamente como vai lidar com a ordem, por exemplo, agregando pares de avaliadores em kappas ponderados e reportando a distribuição.

Leia tambémSete Portões Antes de uma Questão Gerada por IA Entrar na Prova →

Concordância absoluta ou consistência?

Para decidir se dois revisores chegam à mesma decisão sobre um item, o alvo estatístico correto é concordância absoluta, não consistência. Essa distinção parece uma sutileza técnica, mas é um dos erros mais silenciosos e mais caros que um plano de reprodutibilidade pode cometer, porque os dois números respondem perguntas diferentes e frequentemente produzem impressões opostas sobre a mesma amostra de avaliações.

Consistência mede se os revisores ordenam os itens de forma parecida, mesmo que apliquem limiares sistematicamente diferentes. Considere um revisor que é, de modo geral, mais rigoroso e outro que é mais permissivo: o revisor rigoroso classifica sistematicamente os itens uma categoria abaixo do que o permissivo classificaria, mas ambos concordam sobre qual item é melhor e qual é pior dentro do conjunto. Um coeficiente de consistência tratará esses dois revisores como fortemente concordantes, porque a ordem relativa das avaliações é a mesma. Mas os dois revisores, na prática, não estão tomando a mesma decisão sobre nenhum item individual: um aprova o que o outro rejeita.

Para o propósito de um portão de validação, isso é inaceitável. O que a instituição precisa saber é se, diante do mesmo item, os dois revisores tomam a mesma decisão categórica, não se eles concordam sobre qual item é relativamente melhor. Por isso a concordância absoluta é o alvo correto quando o ICC é a estatística escolhida para avaliação contínua, e é também a lógica implícita que justifica calcular kappa sobre categorias, e não sobre postos.

Por que todo coeficiente precisa de intervalo de confiança?

Todo coeficiente de concordância precisa ser reportado com intervalo de confiança de 95% porque um kappa sem intervalo esconde exatamente a informação que permitiria julgar se o número é confiável. Amostras pequenas de checagem de reprodutibilidade, que são comuns porque revisar em duplicata é caro em tempo de especialista, produzem intervalos de confiança amplos, e intervalos amplos são compatíveis simultaneamente com concordância adequada e com concordância inadequada.

Isso significa, na prática de gestão acadêmica, que a frase "obtivemos kappa de 0,7 na revisão de itens" não é, por si só, um resultado. Se esse valor de 0,7 vem de uma checagem em 12 itens, o intervalo de confiança em torno dele provavelmente se estende de um valor baixo, compatível com concordância pobre, a um valor alto, compatível com concordância excelente. Reportar apenas o ponto central sem o intervalo transforma ruído estatístico em uma aparência de resultado sólido, exatamente o tipo de afirmação que resiste mal a uma auditoria bem informada ou a uma avaliação externa mais rigorosa.

A exigência de intervalo de confiança não é burocracia estatística. É a diferença entre um número que a instituição pode defender e um número que apenas parece defensável até alguém perguntar quantos itens sustentam aquele kappa.

O que acontece quando a concordância fica abaixo do mínimo?

Quando a concordância fica abaixo do mínimo prefixado, o processo para: os artefatos deixam de ser processados até que os revisores sejam recalibrados ou o instrumento de avaliação seja revisado. Esse é o elemento que transforma a checagem de reprodutibilidade de exercício teórico em peça de governança com consequência operacional real.

O paper é deliberadamente explícito em não fixar um valor numérico universal de mínimo aceitável. O mínimo precisa ser prefixado pela própria instituição, e a magnitude apropriada depende da consequência do portão que está sendo checado. Um portão que decide entre "aprovado para rascunho" e "aprovado para pilotagem" pode tolerar um mínimo de concordância menos exigente do que um portão que decide se um item entra em uso com escore, porque o custo de um erro é diferente nos dois casos. Fixar o mínimo antes de rodar a checagem, e não depois de ver o resultado, é o mesmo princípio que fixa a proporção de amostra antes de calcular a concordância: qualquer parâmetro decidido depois de ver os dados perde a capacidade de servir como padrão de julgamento independente.

Quando a concordância medida fica abaixo desse mínimo declarado, o desenho funciona como condição de parada. A instituição não continua processando o backlog de itens com a expectativa de que a média vá melhorar. Ela interrompe o fluxo, investiga se o problema está no treinamento dos revisores, nas diretrizes de revisão que são ambíguas o suficiente para permitir leituras divergentes, ou na própria definição das categorias de decisão, e só retoma depois de corrigir a causa identificada.

Essa é a mesma lógica que rege o plano psicométrico do Portão 6: evidência de reprodutibilidade entra no workflow nos mesmos termos, declarada de antemão, revisada contra o que foi declarado e capaz de parar a linha de produção. Planejar a checagem e revisar os resultados contra o plano não é, sozinho, evidência de que o instrumento de revisão funciona. É a estrutura que permite descobrir se funciona, e agir quando não funciona.

Leia tambémGovernança Acadêmica para o ENAMED: Estruturando a Gestão da Qualidade →

E o próprio artigo, mede isso?

Não. Este é o ponto de honestidade radical que o próprio technical report assume, e que precisa ser reproduzido aqui sem suavização: os autores declaram explicitamente que o relatório descreve o workflow de validação e não uma implementação empírica dele, e que não reporta nenhum dado de confiabilidade entre revisores. Nenhuma checagem de reprodutibilidade foi executada e reportada no próprio paper que especifica como ela deveria ser feita.

Os autores vão além e afirmam que a reprodutibilidade das decisões dos quatro portões dependentes de julgamento humano é a primeira grandeza que uma avaliação prospectiva do workflow deveria reportar. Isso é uma admissão direta de que o arcabouço, como publicado, oferece a estrutura para medir a própria confiabilidade, mas ainda não a mediu. A frase que resume essa limitação, e que vale citar sem paráfrase: planejar e revisar evidência não são, em si, evidência de que o workflow funciona.

Para uma instituição de ensino que avalia adotar esse tipo de arcabouço de validação, essa limitação declarada tem valor prático. Ela indica exatamente qual é o próximo passo que separa uma estrutura de governança bem desenhada no papel de uma estrutura de governança operacionalmente comprovada: rodar a checagem de reprodutibilidade descrita, com amostra fixada de antemão, revisores cegos, estatística apropriada ao tipo de decisão e intervalo de confiança declarado, e reportar o resultado, seja ele favorável ou não.

Bloco de conflito de interesse

Este artigo se baseia no technical report DESTEFANI, V. C.; FERREIRA, M. F. C.; DESTEFANI, A. C. Human-Governed Validation of Artificial Intelligence-Generated Medical Assessment Artifacts: A Technical Report. Cureus, v. 18, n. 8, e115344, 28 ago. 2026. DOI: 10.7759/cureus.115344. Publicado em acesso aberto sob licença CC-BY 4.0, revisado por pares conforme datas declaradas no próprio artigo, e indexado no PubMed.

Os três autores do paper são fundadores da SPR Med, e essa é a declaração de conflito de interesse mais completa entre os quatro trabalhos do cluster, registrada no formulário padronizado do ICMJE. Vinícius C. Destefani é cofundador e Diretor de Pedagogia e Engajamento da SPR Med, além de consultor médico da Allm Inc., de Tóquio. Matheus Feliciano C. Ferreira é CEO da SPR Med. Afrânio C. Destefani atua como consultor científico. Os três declaram honorários, vínculo formal e participação acionária na empresa, e o artigo afirma literalmente que o banco de itens e a plataforma da SPR Med são produtos comerciais. Nenhum financiamento externo foi recebido para o trabalho submetido.

É importante registrar que essa transparência sobre o vínculo comercial foi feita na própria fonte primária, publicada em periódico revisado por pares, e não apenas neste blog institucional. Isso torna a citação mais robusta, não mais frágil: o vínculo está declarado onde a comunidade científica pode escrutiná-lo. O paper também declara que ferramentas de IA generativa, GPT da OpenAI e Claude da Anthropic, foram usadas estritamente para edição de linguagem e apoio à busca bibliográfica, nunca como coautoras, e que todas as análises, interpretações e conclusões são de responsabilidade dos três autores humanos, uma aplicação do próprio Portão 2 ao processo de escrita do artigo.

Igualmente relevante: como já detalhado na seção anterior, o paper não reporta nenhum dado de confiabilidade entre revisores, não apresenta análise de desfecho de aluno, não compara itens gerados por IA com itens escritos por humanos e é um technical report de equipe única, desenvolvido por prática iterativa e não por metodologia formal de consenso como Delphi. O exemplo de pneumonia adquirida na comunidade discutido na literatura deste cluster é explicitamente hipotético, com valores de placeholder, e nunca deve ser lido como caso real da SPR Med ou de qualquer instituição.

Visão de futuro: da estrutura declarada à evidência operacional

O caminho que separa um arcabouço de sete portões bem especificado de um processo de validação efetivamente confiável passa, necessariamente, por essa checagem de reprodutibilidade que o próprio paper fundador ainda não executou. Instituições de ensino médico que constroem ou revisam banco de questões próprio, seja com apoio de geração assistida por IA, seja inteiramente por redação humana, enfrentam a mesma lacuna: comitês de revisão existem, checklists existem, mas raramente alguém mede se dois revisores, trabalhando de forma independente sobre o mesmo item, chegam à mesma decisão com frequência suficiente para que a decisão de qualquer um deles, isoladamente, seja confiável.

A literatura empírica de terceiros, produzida por grupos sem vínculo com a SPR Med, reforça por que separar portões importa: no estudo de Kiyak e colaboradores (2024), publicado no European Journal of Clinical Pharmacology, duas questões geradas por ChatGPT superaram o critério de bisserial pontual de 0,30, com valores de 0,41 e 0,39, e ainda assim uma delas manteve três opções não funcionais, selecionadas por menos de 5% dos respondentes. Um item pode satisfazer um critério de discriminação e falhar num critério de qualidade de redação, e é exatamente por isso que checar a reprodutibilidade da revisão de redação, separadamente da prontidão psicométrica, não é redundância burocrática: é a única forma de capturar defeitos que um único tipo de análise deixaria passar.

Para coordenadores de curso e membros de NDE que avaliam como estruturar ou auditar seu próprio processo de revisão de itens, a recomendação que decorre diretamente deste arcabouço é concreta: antes de reportar qualquer taxa de aprovação de itens ao colegiado ou de usar essa taxa como indicador de qualidade em relatório institucional, execute a checagem de concordância entre revisores independentes, cegos entre si, antes de qualquer adjudicação, com o coeficiente apropriado à escala de decisão e ao número de avaliadores, e com intervalo de confiança de 95%. Sem isso, o que a instituição tem não é evidência de controle de qualidade. É um registro de julgamento cuja consistência nunca foi estabelecida.

Leia tambémConstrução de Banco de Questões de Medicina: O Desafio da Redação de Itens Inéditos →

Leia tambémBisserial Corrigida: Por Que a Discriminação de um Item Costuma Ser Superestimada →

Leia tambémDistrator Não Funcional: a Regra dos 5% e o Que Ela Revela da Sua Prova →

A SPR Med constrói sua infraestrutura de gestão da proficiência médica sobre a premissa de que julgamento de especialista, para sustentar decisões institucionais de alta consequência, precisa ser auditado com o mesmo rigor que se exige de qualquer coeficiente psicométrico. Converse com nosso time de consultoria acadêmica para entender como estruturar checagens de reprodutibilidade no processo de revisão de itens do seu curso, antes que essa lacuna apareça numa auditoria externa.

Documentos oficiais relacionados

• Notas técnicas do Inep: cálculo da nota, proficiência e conceito institucional.

Perguntas frequentes

O que é concordância entre revisores de questões?

É a medida de quanto dois ou mais revisores, avaliando o mesmo item de forma independente, chegam à mesma decisão sobre ele. Sem essa medida, não há forma de saber se um portão de revisão baseado em julgamento humano produz decisões estáveis ou decisões que variam conforme quem avalia.

Por que a concordância precisa ser calculada antes da adjudicação?

Porque quando revisores discutem até chegar a um acordo, a taxa de concordância final tende à unanimidade por construção, e esse número mede a capacidade dos revisores de convergirem em discussão, não a reprodutibilidade do instrumento de revisão. O número que informa sobre a qualidade do processo é o do primeiro julgamento independente, antes de qualquer troca entre os avaliadores.

Qual estatística devo usar para medir concordância entre dois revisores de itens?

Para duas categorias ordinais, como as cinco categorias de desfecho da aprovação final, a estatística apropriada é o kappa de Cohen ponderado, com pesos lineares ou quadráticos declarados de antemão. Para mais de dois revisores, usa-se o kappa de Fleiss, com a ressalva de que ele trata as categorias como não ordenadas. Para avaliação contínua, como um escore de qualidade de redação, usa-se o coeficiente de correlação intraclasse, com modelo, tipo de medida e alvo de concordância declarados.

Qual a diferença entre concordância absoluta e consistência na revisão de itens?

Concordância absoluta mede se os revisores tomam exatamente a mesma decisão sobre o mesmo item. Consistência mede se os revisores ordenam os itens de forma parecida, mesmo aplicando limiares sistematicamente diferentes, o que pode classificar como concordantes dois revisores em que um é sistematicamente mais rigoroso que o outro. Para decidir se revisores chegam à mesma decisão, o alvo correto é sempre concordância absoluta.

Existe um valor mínimo de kappa considerado aceitável para revisão de itens?

O arcabouço que fundamenta este artigo não fixa um valor numérico universal. O mínimo aceitável precisa ser prefixado pela própria instituição, conforme a consequência do portão avaliado, e funciona como condição de parada: se não atingido, o processamento de novos artefatos é interrompido até recalibração dos revisores ou revisão do instrumento.

O paper que fundamenta este artigo mediu a concordância entre revisores na prática?

Não. Os próprios autores declaram que o technical report descreve o desenho do workflow de validação e não reporta nenhum dado de confiabilidade entre revisores, afirmando que essa é a primeira grandeza que uma avaliação prospectiva do arcabouço deveria medir. Planejar e revisar evidência, dizem os autores, não são, em si, evidência de que o workflow funciona.

Sobre a autoria