PROMPT-EDU: Roteiro de comandos de ajuste fino para ChatGPT

Denise da Vinha Ricieri; Adriana Mara Guimarães de Farias; Fabiano Rodrigues de Souza; Raphaela Vasconcelos Gomes Barreto

doi:10.36704/sciaseducomtec.v6i1.8374

Autores

Denise da Vinha Ricieri Universidade Federal do Paraná - UFPR https://orcid.org/0000-0003-3469-6643
Adriana Mara Guimarães de Farias Universidade Federal Rural do Semi-Árido https://orcid.org/0000-0002-3451-8946
Fabiano Rodrigues de Souza https://orcid.org/0000-0002-6205-0500
Raphaela Vasconcelos Gomes Barreto https://orcid.org/0000-0001-7195-9858

DOI:

https://doi.org/10.36704/sciaseducomtec.v6i1.8374

Palavras-chave:

ChatGPT, Tecnologias educacionais, Inteligência Artificial, Ensino-aprendizagem, Sistematização

Resumo

O estudo mostra uma sequência de prompts testadas para otimizar o ajuste fino (FT) do ChatGPT nos contextos do processo ensino-aprendizagem. Um estudo experimental descritivo qualitativo alinhou três perfis de prompts em uma sequência denominada Roteiro Prompt-EDU, onde foi testado em diferentes versões do ChatGPT, no Brasil e nos EUA. A aplicação deste Roteiro se deu no contexto do prompt dos personagens, em um diálogo simulado entre Paulo Freire e Mark Zuckerberg, discutindo a perspectiva da Inteligência Artificial e a Educação. Os resultados mostraram que o Roteiro Prompt-EDU teve sucesso nos marcadores analíticos estabelecidos e mostrou desempenho similar ao descrito na literatura para a aprendizagem profunda de máquina. Concluiu-se pela confiável do Roteiro para otimizar o FT em contas de usuários iniciantes, para os temas específicos do processo ensino-aprendizagem.

Referências

Armstrong P. Bloom’s taxonomy. In: Vanderbilt University Center for Teaching (Ed.). A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives, 2010. Disponível em: https://evawintl.org/wp-content/uploads/Blooms-Taxonomy.pdf. Acesso em 10/05/2023.

BEARMAN, M., Ryan, J. & Ajjawi, R. Discourses of artificial intelligence in higher education: a critical literature review. High Educ, 2022. Disponível em: https://doi.org/10.1007/s10734-022-00937-2. Acesso em 10/05/2023. DOI: https://doi.org/10.1007/s10734-022-00937-2

CELIK, Ismail et al. The promises and challenges of artificial intelligence for teachers: A systematic review of research. TechTrends, v. 66, n. 4, p. 616-630, 2022. Disponível em: https://link.springer.com/article/10.1007/ s11528-022-00715-y. Acesso em 10/05/2023. DOI: https://doi.org/10.1007/s11528-022-00715-y

CHEN, Jiuhai et al. How Many Demonstrations Do You Need for In-context Learning? arXiv, n. 2303.08119v3, p. 1-11, 2023. Disponível em: https://arxiv.org/pdf/2303.08119.pdf. Acesso em 10/05/2023.

COTTON, Debby RE; COTTON, Peter A.; SHIPWAY, J. Reuben. Chatting and cheating: Ensuring academic integrity in the era of ChatGPT. Innovations in Education and Teaching International, p. 1-12, 2023. Disponível em: https://www.tandfonline.com/doi/full/10.1080/14703297.2023.2190148. Acesso em 10/05/2023. DOI: https://doi.org/10.35542/osf.io/mrz8h

CROMPTON, Helen; BURKE, Diane. Artificial intelligence in higher education: the state of the field. International Journal of Educational Technology in Higher Education, v. 20, n. 1, p. 1-22, 2023. Disponível em: https://educationaltechnologyjournal.springeropen.com/articles/10.1186/s41239-023-00392-8. Acesso em 10/05/2023. DOI: https://doi.org/10.1186/s41239-023-00392-8

DE ANDRADE MATIAS, Klesia; MORESI, Eduardo Amadeu Dutra; DOS SANTOS, Pricila Kohls. Tendências em inteligência artificial e educação híbrida: um estudo exploratório. Poíesis Pedagógica, v. 20, n. Publicação contínua, p. 76-96, 2022. Disponível em: https://periodicos.ufcat.edu.br/poiesis/article/view/73649. Acesso em 10/05/2023.

DE OLIVEIRA SILVA, João Vitor; PACHECO, Giovanna Oliveira; PUGLIESI, Jaqueline Brigladori. O MODELO DE INTELIGÊNCIA ARTIFICIAL GPT-3 NA PROGRAMAÇÃO E SUAS VANTAGENS E DESVANTAGENS NO DESENVOLVIMENTO JUNTO AO PROGRAMADOR. Revista Eletrônica de Computação Aplicada, v. 2, n. 1, 2021. Disponível em: http://periodicos.unifacef.com.br/reca/article/viewFile/2297/1599. Acesso em 10/05/2023.

DU, Li et al. Quantifying and Attributing the Hallucination of Large Language Models via Association Analysis. arXiv preprint arXiv:2309.05217, 2023. Disponível em: https://arxiv.org/abs/2309.05217. Acesso em 10/05/2023.

GUIMARÃES, Ueudison Alves et al. TAXIONOMIA DE BLOOM APLICADA NA PRÁTICA PEDAGÓGICA PARA A FORMAÇÃO DE PROFESSORES. RECIMA21-Revista Científica Multidisciplinar-ISSN 2675-6218, v. 4, n. 4, p. e443039-e443039, 2023. Disponível em: https://recima21.com.br/index.php/recima21/article/view/3039. Acesso em 10/05/2023. DOI: https://doi.org/10.47820/recima21.v4i4.3039

FRANCO, Maria Amélia do Rosário Santoro. Da necessidade/atualidade da pedagogia crítica: contributos de Paulo Freire. Reflexão e Ação, v. 25, n. 2, p. 152-170, 2017. Disponível em: http://educa.fcc.org.br/pdf/reflex/v25n2/1982-9949-reflex-25-02-00152.pdf. Acesso em 10/05/2023. DOI: https://doi.org/10.17058/rea.v25i2.8891

HUMBLE, Niklas; MOZELIUS, Peter. The threat, hype, and promise of artificial intelligence in education. Discover Artificial Intelligence, v. 2, n. 1, p. 22, 2022. Disponível em: https://link.springer.com/article/10.1007/s44163-022-00039-z. Acesso em 10/05/2023. DOI: https://doi.org/10.1007/s44163-022-00039-z

KASNECI, Enkelejda et al. ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, v. 103, p. 102274, 2023. Disponível em: https://www.sciencedirect.com/science/article/pii/S1041608023000195. Acesso em 10/05/2023. DOI: https://doi.org/10.1016/j.lindif.2023.102274

LI, Yingcong et al. Transformers as Algorithms: Generalization and Stability in In-context Learning. arXiv, n. 2301.07067, p. 1-34, 2023. Disponível em: https://intra.ece.ucr.edu/~oymak/Transformers_as_algorithms.pdf. Acesso em 10/05/2023.

LIANG, Weixin et al. GPT detectors are biased against non-native English writers. arXiv preprint arXiv:2304.02819, 2023. Disponível em: https://arxiv.org/abs/2304.02819. Acesso em 10/05/2023.

LIAO, Wenxiong et al. Differentiate ChatGPT-generated and Human-written Medical Texts. arXiv preprint arXiv:2304.11567, 2023. Disponível em: https://arxiv.org/abs/2304.11567. Acesso em 10/05/2023.

LIU, Pengfei et al. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. ACM Computing Surveys, v. 55, n. 9, p. 1-35, 2023. Disponível em: https://dl.acm.org/doi/full/ 10.1145/3560815. Acesso em 10/05/2023. DOI: https://doi.org/10.1145/3560815

OPEN AI INCORPORATED. GPT-4 Technical Report. ArXiv, n.2303.08774, 2023. Disponível em: https://arxiv.org/pdf/2303.08774.pdf. Acesso em 10/05/2023.

PINTO, Rosilaine A. Métodos de Ensino e Aprendizagem sob a Perspectiva da Taxonomia de Bloom. Revista Contexto & Educação, v. 30, n. 96, p. 126-155, 2015. Disponível em: https://www.revistas.unijui.edu.br/index.php/contextoeducacao/article/view/4290 . Acesso em 10/05/2023.

RICIERI, D. da V. et al. Erros comuns de docentes sem letramento em Inteligência Artificial: uma revisão integrativa para o ensino superior. Peer Review, v.6, n. 7, 284–300, 2024. Disponível em: https://doi.org/10.53660/PRW-1986-3703 Acesso em 02/04/2024. DOI: https://doi.org/10.53660/PRW-1986-3703

ROCHA, Daniyel NN; CAMPELO, Cláudio EC; JERÔNIMO, Caio LM. Aplicação de verbos como proxy para identificação automática do nível cognitivo de questões: uma abordagem baseada na taxonomia de Bloom. In: Anais do XXXII Simpósio Brasileiro de Informática na Educação. SBC, 2021. p. 897-908. Disponível em: https://sol.sbc.org.br/index.php/sbie/article/view/18116. Acesso em 10/05/2023. DOI: https://doi.org/10.5753/sbie.2021.218656

SALAS-PILCO, Sdenka Zobeida; YANG, Yuqin. Artificial intelligence applications in Latin American higher education: a systematic review. International Journal of Educational Technology in Higher Education, v. 19, n. 1, p. 1-20, 2022. Disponível em: https://educationaltechnologyjournal.springeropen.com/articles/10.1186/s41239-022-00326-w. Acesso em 10/05/2023. DOI: https://doi.org/10.1186/s41239-022-00326-w

SCOCUGLIA, Afonso Celso. As interconexões da pedagogia crítica de Paulo Freire. Filosofia e Educação, v. 10, n. 1, p. 200-232, 2018. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/rfe/article/view/8652006/17703. Acesso em 10/05/2023. DOI: https://doi.org/10.20396/rfe.v10i1.8652006

SHIN, Taylor et al. Autoprompt: Eliciting knowledge from language models with automatically generated prompts. arXiv preprint arXiv:2010.15980, 2020. Disponível em: https://arxiv.org/abs/2010.15980. Acesso em 10/05/2023. Acesso em 10/05/2023.

SOUZA, Fabiano Rodrigues et al. SIMULAÇÃO DE DIÁLOGOS E PERSONAGENS NO CHAT-GPT4: ANÁLISE COMPARATIVA DO DESEMPENHO EM IDIOMAS INGLÊS E PORTUGUÊS. In: Anais do IV Congresso Brasileiro Interdiscilinar em Ciência e Tecnologias. IV Cobicet: online. 2023. p. 1-8. Disponível em: https://www.researchgate.net/profile/Denise-Ricieri/publication/374999012. Acesso em 23/11/2023.

SOUSA, Anne Madeliny Oliveira Pereira de; ALVES, Ricardo Rilton Nogueira. A neurociência na formação dos educadores e sua contribuição no processo de aprendizagem. Revista Psicopedagogia, v. 34, n. 105, p. 320-331, 2017. Disponível em: http://pepsic.bvsalud.org/pdf/psicoped/v34n105/09.pdf. Acesso em 10/05/2023

VASWANI, Ashish et al. Attention is all you need. Advances in neural information processing systems, v. 30, 2017. Disponível em: https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1 c4a845aa-Abstract.html. Acesso em 10/05/2023.

WANG, Xinyi; ZHU, Wanrong; WANG, William Yang. Large language models are implicitly topic models: Explaining and finding good demonstrations for in-context learning. arXiv preprint arXiv:2301.11916, 2023. Disponível em: https://arxiv.org/abs/2301.11916. Acesso em 10/05/2023.

WEI, Jason et al. Chain of thought prompting elicits reasoning in large language models. arXiv preprint arXiv:2201.11903, 2022. Disponível em: https://arxiv.org/abs/2201.11903. Acesso em 10/05/2023.

ZAWACKI-RICHTER, Olaf et al. Systematic review of research on artificial intelligence applications in higher education–where are the educators? International Journal of Educational Technology in Higher Education, v. 16, n. 1, p. 1-27, 2019. Disponível em: https://educationaltechnologyjournal.springeropen.com/articles/10.1186/ s41239-019-0171-0?fbclid=IwAR0vSk4s9y0V0vExpcAel6yL4LEb-PrNDnlreOB5WrGxlu8-3awpYGgK6Ig. Acesso em 10/05/2023.