A ciência por trás do enemjuntos (e o que a gente deixou de fora)

Você relê o mesmo resumo pela quinta vez. A página já parece familiar, então dá aquela sensação boa de “estudei bastante”. Aí chega a semana seguinte, aparece uma questão e… cadê o conteúdo? A pesquisa sugere que essa sensação de familiaridade pode ser mais forte do que o aprendizado de verdade.

A seguir, você vê as técnicas que o enemjuntos usa, o que os estudos encontraram e como cada ideia aparece no app. Também vamos falar do que ficou de fora. Um cuidado antes de começar: vários estudos resumem os resultados com um “tamanho do efeito”. Zero significa nenhuma diferença; quanto maior o número, maior a vantagem da técnica. Compare esses números dentro do mesmo estudo, não entre pesquisas diferentes.

Questões no lugar de releitura

Em um estudo com universitários, Roediger e Karpicke (2006) compararam reler um texto com tentar lembrar o que ele dizia. No teste feito cinco minutos depois, quem releu lembrava mais. Mas, uma semana depois, quem tinha se testado lembrava 56% das ideias, contra 42% de quem só releu. A vantagem de se testar não apareceu logo depois do estudo: apareceu no que ficou na memória.

Na revisão de muitos experimentos feita por Rowland (2014), testar-se venceu reestudar, com tamanho do efeito de 0,50. Quando o teste final acontecia no dia seguinte ou mais tarde, o efeito subia para 0,69. Já a revisão de estudos feitos em sala de aula, de Yang e colegas (2021), encontrou tamanho do efeito de 0,499 no geral e 0,655 no ensino médio. Com questões de múltipla escolha, foi 0,567.

No enemjuntos, você pratica respondendo questões oficiais do ENEM, de múltipla escolha, em vez de ficar apenas lendo um resumo. A explicação aparece depois que você tenta. Isso importa: primeiro você puxa a resposta da memória; depois confere o que acertou e o que precisa entender melhor.

Correção que ensina

Nem toda correção ajuda do mesmo jeito. Na revisão de estudos com correção no computador, Van der Kleij, Feskens e Eggen (2015) encontraram tamanho do efeito de 0,49 para uma explicação completa, que mostra o porquê. Mostrar só a resposta certa teve efeito de 0,32; dizer apenas “certo” ou “errado”, 0,05.

Rowland (2014) também encontrou uma diferença importante: quando a pessoa acertava até 50% na primeira tentativa e não recebia correção, o ganho de se testar era praticamente zero, com efeito de 0,03. Com correção, subia para 0,73. E, em um estudo com universitários, Butler e Roediger (2008) observaram que uma alternativa errada escolhida podia ficar na memória como se fosse a correta. A correção depois da resposta desfez esse efeito. No estudo, a correção no fim do teste foi tão boa quanto a imediata, ou melhor.

O retorno mais útil fala da tarefa, não de quem você é. Na revisão de Hattie e Timperley (2007), elogios pessoais, como “parabéns, você é demais”, tiveram um dos efeitos mais fracos: 0,14.

E o ganho de se testar não fica preso à questão que você respondeu. Pan e Rickard (2018) encontraram que ele se transfere para questões novas sobre o mesmo conteúdo, com efeito de 0,40. Em sala de aula, questões reformuladas ensinaram tanto quanto questões idênticas, segundo Yang e colegas (2021): 0,558 contra 0,512.

No enemjuntos, a letra certa aparece depois de toda resposta, certa ou errada. A explicação aponta onde a questão pode ter confundido você e por que a alternativa correta é a certa. Nada de avaliar sua personalidade: a ideia é explicar o conteúdo, não dar nota para a sua autoestima. No simulado, a correção vem no fim, como na prova, e as questões erradas aparecem primeiro. Quando um assunto volta para a fila, ele vem com outra questão. Decorar a letra, portanto, não resolve.

Revisar ao longo do tempo

Estudar tudo de uma vez pode dar a impressão de que você avançou muito. Mas a revisão de experimentos de Cepeda e colegas (2006) encontrou uma média de 47,3% lembrado por quem espaçou o estudo, contra 36,7% por quem estudou tudo de uma vez.

Cepeda e colegas (2008) observaram que o melhor intervalo corresponde a uma fração do tempo até a prova: quanto mais perto ela está, mais curto fica o intervalo. Errar o intervalo para mais custa bem menos do que errar para menos. E, ao avaliar dez técnicas de estudo, Dunlosky e colegas (2013) consideraram que apenas duas tinham utilidade alta: testar-se e espaçar o estudo.

No enemjuntos, o assunto que você treina entra no rodízio de revisão. Enquanto ele espera, vai para o fim da fila e dá lugar aos outros, e o que você acertou espera mais do que o que você errou. O app também considera a data da sua prova: a espera encolhe conforme se aproxima o dia da prova de cada área. Entre os dois domingos de prova, a área que você já fez sai da fila. Para entender melhor como espaçar o estudo, você pode ler Revisão espaçada: como estudar sem esquecer.

Sono também entra na conta

O sono não é um botão mágico, mas pode fazer parte do processo de aprendizagem. Em laboratório, com pares de palavras para decorar, Bell e colegas (2014) observaram que revisar 12 horas depois, com uma noite de sono no meio, rendeu o mesmo que revisar 24 horas depois. Também em laboratório e com pares de palavras, Mazza e colegas (2016) encontraram que quem dormiu entre duas sessões de estudo precisou de metade das tentativas para reaprender.

Huang e colegas (2016) estudaram adolescentes de 15 a 19 anos. Dormindo cinco horas por noite, eles esqueceram mais o conteúdo que tinham estudado de uma vez; o conteúdo estudado de forma espaçada não teve o mesmo resultado.

No enemjuntos, a revisão só vence no dia seguinte, para que haja uma noite no meio. Quem recebe as nossas dicas por e-mail ganha, na véspera de cada prova, uma carta que recomenda pegar leve e ir cedo para a cama. No dia da prova, o lembrete não sai. O compromisso do dia é fazer a prova.

Misturar para aprender

Estudar um tipo de questão por vez pode parecer mais fácil. Mas, em um experimento de matemática feito em 54 turmas de 7º ano, Rohrer, Dedrick, Hartwig e Cheung (2020) encontraram 61% de acertos na prova entre os estudantes que fizeram a lição com tipos de problema misturados, contra 38% entre os que praticaram um tipo de cada vez. O tamanho do efeito foi 0,83.

Em aulas de ciências do ensino médio, Sana e Yan (2022) misturaram, nos quizzes semanais de múltipla escolha, os conceitos da própria matéria. Um mês depois, os mesmos alunos acertaram 63% do que tinham treinado misturado, contra 54% do que tinham treinado em bloco. O efeito foi 0,35.

Num estudo com universitários, Kornell e Bjork (2008) observaram, porém, que a maioria achou que estudar em blocos tinha sido melhor, mesmo quando aprendeu mais misturando. A sensação de “agora entendi” pode enganar. Misturar assuntos sem relação nenhuma, como anatomia e vocabulário de outra língua, não teve efeito confiável no estudo de Hausman e Kornell (2014).

No enemjuntos, a fila alterna os assuntos dentro de cada área, em vez de deixar você praticar um tema por muito tempo seguido. Ela também alterna as áreas, mas por outro motivo: cada área vale 45 das 180 questões do ENEM, então nenhuma deve sumir da sua semana. Se a fila parecer mais difícil do que estudar um tema de cada vez, é de propósito.

Organizado do jeito que o INEP organiza

Aqui está o diferencial: as questões não ficam organizadas apenas por área ou por quanto você acertou. Cada uma tem um lugar na Matriz de Referência do ENEM, documento em que o INEP descreve o que a prova cobra. Esse lugar indica a área, a habilidade e o assunto. A área e a habilidade são as oficiais do INEP; o assunto vem da lista de objetos de conhecimento que o próprio INEP publica nesse documento.

Toda questão do enemjuntos é de uma prova oficial do ENEM, de 2009 a 2025, e usa o gabarito do INEP. Com essa organização, o app consegue acompanhar em qual assunto você trava, e não apenas quantas questões de Matemática acerta. A revisão também anda por assunto: errar porcentagem não faz geometria voltar para a fila. E a fila considera duas coisas: o quanto você precisa de cada assunto e o quanto ele cai, contado nas provas oficiais.

A estimativa da sua nota também usa uma informação oficial: a dificuldade das questões publicada pelo INEP. É o mesmo tipo de medida que o ENEM usa ao calcular a nota. Se quiser entender a lógica sem entrar em fórmulas, o jornal explica em como funciona a nota do ENEM. Questões sem dificuldade oficial do INEP não entram na conta da estimativa, e o app não afirma que elas estão no seu nível.

O que ficou de fora

Ranking e comparação com colegas podem parecer um empurrão, mas nem sempre ajudam. Rogers e Feller (2016) observaram que, em um curso online, pessoas sorteadas para avaliar redações excelentes de colegas desistiram mais do curso.

No enemjuntos não há ranking entre alunos nem placar contra colega. O seu treino aparece em palavras, como “precisa treinar”, “quase lá” e “indo bem”, e em contagem, como “acertou 3 de 5”. No resultado do simulado, a sua nota estimada aparece ao lado de quantos de cada 100 participantes do ENEM ficaram abaixo dela.

Também não há pontos para colecionar nem medalhas. Na revisão de estudos sobre gamificação feita por Sailer e Homner (2020), quando os pesquisadores ficaram apenas com os estudos mais rigorosos, o efeito na motivação e no comportamento deixou de se sustentar. Só continuou o efeito no aprendizado. O que existe no enemjuntos é a sua sequência de dias de estudo e um perfil com um quadrado por dia, que nasce privado e só fica público se você quiser.

E não há uma pilha de resumos para reler. Dunlosky e colegas (2013) classificaram releitura e grifo entre as técnicas de utilidade baixa.

Compromisso com a ciência da aprendizagem

Lemos os estudos, não apenas as manchetes. Cada número de pesquisa deste texto foi conferido no estudo ou no resumo publicado dele, e as referências estão no fim.

O que não se sustenta sai. Na revisão mais recente do método, a maior parte das ideias novas não passou, muitas porque o estudo citado não media o que a ideia prometia.

Pesquisa não é garantia de nota. É a melhor aposta que existe sobre como estudar, e muitos desses estudos foram feitos com universitários ou em laboratório. E sim, reler o resumo continua liberado; só não substitui a questão.

Referências

• Roediger, H. L., & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249-255. doi:10.1111/j.1467-9280.2006.01693.x
• Rowland, C. A. (2014). The effect of testing versus restudy on retention: A meta-analytic review of the testing effect. Psychological Bulletin, 140(6), 1432-1463. doi:10.1037/a0037559
• Yang, C., Luo, L., Vadillo, M. A., Yu, R., & Shanks, D. R. (2021). Testing (quizzing) boosts classroom learning: A systematic and meta-analytic review. Psychological Bulletin, 147(4), 399-435. doi:10.1037/bul0000309
• Van der Kleij, F. M., Feskens, R. C. W., & Eggen, T. J. H. M. (2015). Effects of feedback in a computer-based learning environment on students' learning outcomes: A meta-analysis. Review of Educational Research, 85(4), 475-511. doi:10.3102/0034654314564881
• Butler, A. C., & Roediger, H. L. (2008). Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing. Memory & Cognition, 36(3), 604-616. doi:10.3758/MC.36.3.604
• Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112. doi:10.3102/003465430298487
• Pan, S. C., & Rickard, T. C. (2018). Transfer of test-enhanced learning: Meta-analytic review and synthesis. Psychological Bulletin, 144(7), 710-756. doi:10.1037/bul0000151
• Cepeda, N. J., Pashler, H., Vul, E., Wixted, J. T., & Rohrer, D. (2006). Distributed practice in verbal recall tasks: A review and quantitative synthesis. Psychological Bulletin, 132(3), 354-380. doi:10.1037/0033-2909.132.3.354
• Cepeda, N. J., Vul, E., Rohrer, D., Wixted, J. T., & Pashler, H. (2008). Spacing effects in learning: A temporal ridgeline of optimal retention. Psychological Science, 19(11), 1095-1102. doi:10.1111/j.1467-9280.2008.02209.x
• Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., & Willingham, D. T. (2013). Improving students' learning with effective learning techniques. Psychological Science in the Public Interest, 14(1), 4-58. doi:10.1177/1529100612453266
• Bell, M. C., Kawadri, N., Simone, P. M., & Wiseheart, M. (2014). Long-term memory, sleep, and the spacing effect. Memory, 22(3), 276-283. doi:10.1080/09658211.2013.778294
• Mazza, S., Gerbier, E., Gustin, M.-P., Kasikci, Z., Koenig, O., Toppino, T. C., & Magnin, M. (2016). Relearn faster and retain longer: Along with practice, sleep makes perfect. Psychological Science, 27(10), 1321-1330. doi:10.1177/0956797616659930
• Huang, S., Deshpande, A., Yeo, S.-C., Lo, J. C., Chee, M. W. L., & Gooley, J. J. (2016). Sleep restriction impairs vocabulary learning when adolescents cram for exams: The Need for Sleep Study. Sleep, 39(9), 1681-1690. doi:10.5665/sleep.6092
• Rohrer, D., Dedrick, R. F., Hartwig, M. K., & Cheung, C.-N. (2020). A randomized controlled trial of interleaved mathematics practice. Journal of Educational Psychology, 112(1), 40-52. doi:10.1037/edu0000367
• Sana, F., & Yan, V. X. (2022). Interleaving retrieval practice promotes science learning. Psychological Science, 33(5), 782-788. doi:10.1177/09567976211057507
• Kornell, N., & Bjork, R. A. (2008). Learning concepts and categories: Is spacing the "enemy of induction"? Psychological Science, 19(6), 585-592. doi:10.1111/j.1467-9280.2008.02127.x
• Hausman, H., & Kornell, N. (2014). Mixing topics while studying does not enhance learning. Journal of Applied Research in Memory and Cognition, 3(3), 153-160. doi:10.1016/j.jarmac.2014.03.003
• Rogers, T., & Feller, A. (2016). Discouraged by peer excellence: Exposure to exemplary peer performance causes quitting. Psychological Science, 27(3), 365-374. doi:10.1177/0956797615623770
• Sailer, M., & Homner, L. (2020). The gamification of learning: A meta-analysis. Educational Psychology Review, 32(1), 77-112. doi:10.1007/s10648-019-09498-w