Tecnologia para correção de provas
Veja porque o KaptureAll é o melhor e mais completo produto para preparação de alunos pela correção de provas por leitura ótica: Múltiplos tipos de questões de provas, método tradicional e a moderna Teoria de Resposta ao Item TRI, concebido para a realidade brasileira.
- A importância do Professor bem preparado e remunerado é fundamental no Processo.
Primeiramente deve-se reconhecer que o professor é a mais importante
peça para a boa formação dos alunos.
É o bom professor que elabora boas provas que medirão e avaliarão os alunos, bem como é o bom professor faz uma boa interpretação dos resultados.No desenvolvimento do Kaptureall, nossa equipe, empresa líder de mercado no Brasil desde 1985, concebeu uma ferramenta adequada a realidade nacional onde os alunos são submetidos a testes preparando-se para vestibulares clássicos, para o ENEM, cujo processo de correção é baseado no TRI. O KaptureAll EasyTest, modulo de correção de provas mono carreiras, que avalia e prepara alunos já se enquadra nas recomendações da BNCC.
Definição de pesos entre acertos e erros das questões:
Para cada questão pode-se atribuir um peso para o acerto ou para o erro na resposta da questão. Observe que os pesos de acerto e erro são ignorados no caso de escolher-se a metodologia do TRI, como veremos mais adiante.
Tipos de resposta:
O KaptureAll trata respostas
objetivas do tipo múltipla escolha, verdadeiro/ falso, múltiplas assertivas ou
numéricas (números inteiros). Exemplo: A, B, C, D, E ou V, F ou 98, 145.1 Métodos de Correção:
O método de correção é importante para o processo de avaliação. Uma boa ferramenta de avaliação, é importante para orientar os alunos e conhecer aqueles que precisam de mais atenção dos professores.
1.1 Teoria clássica do teste
O método de correção tradicional, também conhecida como Teoria Clássica da Medida (TCM) ou Teoria Clássica do Teste (TCT), é aquele onde cada questão tem um valor ou um peso diferente de acordo com o grau de dificuldade. Na TCM, cada item tem sua pontuação independente de outro.
Na TCT, cada pergunta tem um valor independente das demais questões. O KaptureAll permite que sejam atribuídos pesos diferentes para cada questão do teste. Na TCT o todo é o mais importante. Ao construir o teste, pensa-se na prova completa, em que cada questão constrói um conjunto coeso e que pode colaborar para uma análise de domínio do conhecimento. O princípio básico dessa teoria é que, quanto mais acertos, maior o domínio do conhecimento que se está avaliando.
Uma das principais vantagens da TCT é que ela é simples e eficiente. Como a avaliação se dá numa relação da questão com o aluno, independente da avaliação relativa as respostas nas demais questões, (e também independente das respostas que os outros alunos dão às questões). A TCT pode ser aplicada em testes com qualquer número de alunos e de questões.
1.2 Teoria da Resposta ao Item
A Teoria de resposta reduz substancialmente as respostas dadas por "chute". O aluno que chuta as reposta de uma prova a ser corrigida pelo TRI, tenderá a ser penalizado na correção.
A TRI pressupõe que um candidato com um certo nível de proficiência tende a acertar os itens de nível de dificuldade menor que o de sua proficiência e errar aqueles com nível de dificuldade maior. Ou seja, o padrão de resposta do participante é considerado no cálculo do desempenho.
Na Teoria da Resposta ao Item (TRI), o item é a questão de uma prova. O TRI é uma metodologia de
avaliação usada por várias organizações no mundo que avaliam seus alunos, seja,
entre outros países, nos Estados Unidos, Inglaterra, Canadá como também pelo
Ministério da Educação do Brasil, no Exame Nacional do Ensino Médio (ENEM).O TRI não contabiliza apenas o número total de acertos dos alunos no teste e sim a consistência das respostas, porque não é crível que os alunos conscientemente acertem as questões mais difíceis e errem as questões mais fáceis. Dessa forma o método diminui a chance de acerto de uma questão pelo acaso, ou seja, pelo “chute”.
A TRI qualifica a questão de acordo com três parâmetros:
• Poder de discriminação, que é a capacidade de uma questão em distinguir os estudantes que têm a proficiência requisitada daqueles quem não a têm.
• Grau de dificuldade
• Possibilidade de acerto ao acaso (chute)
Com a TRI, não é possível comparar o número de acertos em uma área do conhecimento com o de outra. Pela teoria, o número de questões por nível de dificuldade em cada prova e as demais características das questões afetam o resultado. Dessa forma, acertar 40 questões em uma área não significa, necessariamente, ter uma proficiência maior do que em outra, cujo número de acertos tenha sido 35.
A TRI pressupõe que um candidato com um certo nível de proficiência tende a acertar os itens de nível de dificuldade menor que o de sua proficiência e errar aqueles com nível de dificuldade maior. Ou seja, o padrão de resposta do participante é considerado no cálculo do desempenho.
No ENEM as questões das provas provem de um banco de questões.
Seria oneroso para a grande maioria dos usuários a formação de um banco de questões nos moldes do ENEM.
O TRI é um processo estatístico assim quanto maior a amostra -número de alunos participantes do teste- o resultado mais se aproxima da realidade.
Como trata-se de um processo estatístico que mede a interação entre as respostas dos alunos, vale ressaltar que o cálculo do TRI demanda um tempo computacional maior para correção em relação ao método tradicional.
1.2.1 O TRI Teoria de Resposta ao Item no KaptureAll
Na avaliação de um teste o TRI considera as respostas de todas as questões e as relações de respostas entre as questões. Como processo estatístico, a proximidade do resultado com a realidade depende do tamanho da amostra. Quanto maior o número de candidatos e de questões melhor para o processo. Recomendamos utilizar o TRI para amostras com mais de duzentos candidatos e noventa questões. Ao elaborar as questões deve-se ter em mente que, sem que o aluno perceba, questões tenham grau de dificuldade fácil, médio e difícil.
Como resultado, o KaptureAll, seguindo a metodologia de avaliação do TRI, que é a mesma do ENEM, dará a estimativa da seguinte forma:
- O conhecimento de cada aluno (que chamaremos de resultado TRI) e três parâmetros de avaliação para cada questão: “a”, “b” e ”c”.
Estes parâmetros somente serão calculados para todas as questões que forem relevantes para o ajuste do modelo TRI. A escolha das questões relevantes se dá através de uma análise exploratória que previamente correlaciona o conhecimento dos respondentes com o padrão de acertos de cada questão. Correlação muito baixas (abaixo de 30%) indicam questões irrelevantes, que serão descartadas da análise.
As estimativas obtidas para os parâmetros “a”, “b” e ”c” das questões relevantes permitirão ao professor avaliar as questões da prova.
- Parâmetros: “a”: Parâmetro da discriminação:
Uma questão com o parâmetro a baixo, não se mostra muito discriminatória. Um possível motivo seria questão fácil demais, de modo que até os alunos com menor conhecimento tem alta probabilidade de acertá-la. Analogamente, poderíamos ter uma questão difícil demais. Outro exemplo de questão com parâmetro a baixo é aquela que não tem concordância grande com o conhecimento do aluno. A probabilidade de acertar a questão não varia muito com o grau de conhecimento do aluno.
- Parâmetros: “b”: Parâmetro da dificuldade:
- Parâmetros: “c”: Parâmetro do acaso:
1.2.2 Analise de resultados das questões da prova:
É muito importante avaliar os alunos, mas também a prova em que foram submetidos.
Vamos analisar os resultados de uma prova com noventa questões, onde foram considerados, automaticamente pelo sistema, 54 (cinquenta e quatro) questões consideradas relevantes:
Analise das questões
|
|||
Questões
|
a
|
b
|
c
|
V1
|
0,324095384
|
-3,9585312
|
0,007264923
|
V3
|
0,332482877
|
4,066379066
|
5,15E-10
|
V4
|
0,308352093
|
1,186308138
|
2,44E-09
|
V5
|
0,570658604
|
-1,673227247
|
7,26E-07
|
V6
|
1,436045147
|
2,150434875
|
0,206670261
|
V7
|
0,416885136
|
0,286640176
|
2,32E-07
|
V8
|
0,493751145
|
-0,705472983
|
3,90E-09
|
V9
|
0,649721924
|
-0,681200278
|
2,05E-05
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
.
|
V78
|
0,483325051
|
2,311782184
|
0,056185002
|
V79
|
1,172222999
|
1,333553037
|
0,19381254
|
V81
|
0,573231991
|
0,042486725
|
1,84E-07
|
V82
|
1,66350623
|
1,172681319
|
0,269600114
|
V88
|
0,618444863
|
1,153308444
|
0,4
|
V89
|
1,300878615
|
2,422508105
|
0,088481943
|
Observe que a questão V1 dessa prova tem um baixo índice de discriminação, como mostra o parâmetro a dessa questão, 0,324095384. Os alunos a acertarão facilmente ou errarão independentemente do seu grau de conhecimento. Se observarmos o parâmetro b, -3,9585312, vemos que essa questão foi considerada bem fácil. E se observarmos o parâmetro c, 0,007264923, da questão V1, verifica-se que existe uma baixa chance dos alunos acerta-la ao acaso.
Relatório com paramentos do TRI interpretados pelo KaptureAll EasyTest
Veja mais relatórios clicando aqui.
1.2.3
Analise do resultado da prova:
Na continuação a análise da prova que no parágrafo anterior analisamos os parâmetros “a”, “b” e ”c”, vamos passar a analisar os resultados da prova. Como nessa amostra tivemos quatrocentos e vinte e um alunos exibiremos aqui somente uma parte dos resultados, são apresentados de forma não ordenada.
Podemos observar que os alunos mostraram uma proficiência maior ou menor de acordo com o modelo do TRI aqui calculado na mesma escala que o resultado de uma prova do ENEM.
Na continuação a análise da prova que no parágrafo anterior analisamos os parâmetros “a”, “b” e ”c”, vamos passar a analisar os resultados da prova. Como nessa amostra tivemos quatrocentos e vinte e um alunos exibiremos aqui somente uma parte dos resultados, são apresentados de forma não ordenada.
Identificação do aluno
|
Nota do aluno
|
201505006
|
273,9047383
|
201505016
|
303,2895333
|
201500209
|
294,9037125
|
201502565
|
368,1796396
|
201501331
|
364,1858621
|
201502483
|
354,4987189
|
201501295
|
493,7753708
|
201502553
|
367,7158814
|
201500947
|
556,9168279
|
201505007
|
389,8267922
|
201504929
|
456,8520323
|
201502674
|
347,7340433
|
Podemos observar que os alunos mostraram uma proficiência maior ou menor de acordo com o modelo do TRI aqui calculado na mesma escala que o resultado de uma prova do ENEM.
2. Curvas CCI e AGI para análise das questões de prova
2.1 A curva CCI mostra os parâmetros A, B e C.
Uma simples observação da CCI comparada com a "CCI padrão" o professor terá rapidamente uma visão rápida da prova. Estamos preparando um vídeo a respeito porém entre em contato, em caso de necessidade.
2.2 . A Curva AGI:
Mostra com a turma se comportou frente a prova, analisando o comportamento dos alunos que responderam a questão com àqueles que tiveram mais ou menos acertos em toda a prova.
Quem ensina testa, quem testa, avalia”
Forme novos homens e mulheres para um Brasil melhor. A salvação está na educação.
Somos uma empresa nacional gerando empregos e tecnologia no Brasil. Suas mensagens, sugestões e ideias são importantes para nós.
Forme novos homens e mulheres para um Brasil melhor. A salvação está na educação.
Somos uma empresa nacional gerando empregos e tecnologia no Brasil. Suas mensagens, sugestões e ideias são importantes para nós.
