PROMPT-EDU: Roteiro de comandos de ajuste fino para ChatGPT

Denise da Vinha Ricieri; Adriana Mara Guimarães de Farias; Fabiano Rodrigues de Souza; Raphaela Vasconcelos Gomes Barreto

doi:10.36704/sciaseducomtec.v6i1.8374

Authors

Denise da Vinha Ricieri Universidade Federal do Paraná - UFPR https://orcid.org/0000-0003-3469-6643
Adriana Mara Guimarães de Farias Universidade Federal Rural do Semi-Árido https://orcid.org/0000-0002-3451-8946
Fabiano Rodrigues de Souza https://orcid.org/0000-0002-6205-0500
Raphaela Vasconcelos Gomes Barreto https://orcid.org/0000-0001-7195-9858

DOI:

https://doi.org/10.36704/sciaseducomtec.v6i1.8374

Keywords:

ChatGPT, Tecnologias educacionais, Inteligência Artificial, Ensino-aprendizagem, Sistematização

Abstract

The study shows a sequence of prompts tested to optimize the fine-tuning (FT) of ChatGPT in the contexts of the teaching-learning process. A qualitative descriptive experimental study aligned three profiles of prompts in a sequence called Prompt-EDU Script, which was tested in different versions of ChatGPT, in Brazil and the USA. The application of this Script occurred in the context of the character prompts, in a simulated dialogue between Paulo Freire and Mark Zuckerberg, discussing the perspective of Artificial Intelligence and Education. The results showed that the Prompt-EDU Script was successful in the established analytical markers and demonstrated performance similar to that described in the literature for deep machine learning. The Script was concluded to be reliable for optimizing FT in beginner user accounts, for the specific themes of the teaching-learning process.

References

Armstrong P. Bloom’s taxonomy. In: Vanderbilt University Center for Teaching (Ed.). A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives, 2010. Disponível em: https://evawintl.org/wp-content/uploads/Blooms-Taxonomy.pdf. Acesso em 10/05/2023.

BEARMAN, M., Ryan, J. & Ajjawi, R. Discourses of artificial intelligence in higher education: a critical literature review. High Educ, 2022. Disponível em: https://doi.org/10.1007/s10734-022-00937-2. Acesso em 10/05/2023. DOI: https://doi.org/10.1007/s10734-022-00937-2

CELIK, Ismail et al. The promises and challenges of artificial intelligence for teachers: A systematic review of research. TechTrends, v. 66, n. 4, p. 616-630, 2022. Disponível em: https://link.springer.com/article/10.1007/ s11528-022-00715-y. Acesso em 10/05/2023. DOI: https://doi.org/10.1007/s11528-022-00715-y

CHEN, Jiuhai et al. How Many Demonstrations Do You Need for In-context Learning? arXiv, n. 2303.08119v3, p. 1-11, 2023. Disponível em: https://arxiv.org/pdf/2303.08119.pdf. Acesso em 10/05/2023.

COTTON, Debby RE; COTTON, Peter A.; SHIPWAY, J. Reuben. Chatting and cheating: Ensuring academic integrity in the era of ChatGPT. Innovations in Education and Teaching International, p. 1-12, 2023. Disponível em: https://www.tandfonline.com/doi/full/10.1080/14703297.2023.2190148. Acesso em 10/05/2023. DOI: https://doi.org/10.35542/osf.io/mrz8h

CROMPTON, Helen; BURKE, Diane. Artificial intelligence in higher education: the state of the field. International Journal of Educational Technology in Higher Education, v. 20, n. 1, p. 1-22, 2023. Disponível em: https://educationaltechnologyjournal.springeropen.com/articles/10.1186/s41239-023-00392-8. Acesso em 10/05/2023. DOI: https://doi.org/10.1186/s41239-023-00392-8

DE ANDRADE MATIAS, Klesia; MORESI, Eduardo Amadeu Dutra; DOS SANTOS, Pricila Kohls. Tendências em inteligência artificial e educação híbrida: um estudo exploratório. Poíesis Pedagógica, v. 20, n. Publicação contínua, p. 76-96, 2022. Disponível em: https://periodicos.ufcat.edu.br/poiesis/article/view/73649. Acesso em 10/05/2023.

DE OLIVEIRA SILVA, João Vitor; PACHECO, Giovanna Oliveira; PUGLIESI, Jaqueline Brigladori. O MODELO DE INTELIGÊNCIA ARTIFICIAL GPT-3 NA PROGRAMAÇÃO E SUAS VANTAGENS E DESVANTAGENS NO DESENVOLVIMENTO JUNTO AO PROGRAMADOR. Revista Eletrônica de Computação Aplicada, v. 2, n. 1, 2021. Disponível em: http://periodicos.unifacef.com.br/reca/article/viewFile/2297/1599. Acesso em 10/05/2023.

DU, Li et al. Quantifying and Attributing the Hallucination of Large Language Models via Association Analysis. arXiv preprint arXiv:2309.05217, 2023. Disponível em: https://arxiv.org/abs/2309.05217. Acesso em 10/05/2023.

GUIMARÃES, Ueudison Alves et al. TAXIONOMIA DE BLOOM APLICADA NA PRÁTICA PEDAGÓGICA PARA A FORMAÇÃO DE PROFESSORES. RECIMA21-Revista Científica Multidisciplinar-ISSN 2675-6218, v. 4, n. 4, p. e443039-e443039, 2023. Disponível em: https://recima21.com.br/index.php/recima21/article/view/3039. Acesso em 10/05/2023. DOI: https://doi.org/10.47820/recima21.v4i4.3039

FRANCO, Maria Amélia do Rosário Santoro. Da necessidade/atualidade da pedagogia crítica: contributos de Paulo Freire. Reflexão e Ação, v. 25, n. 2, p. 152-170, 2017. Disponível em: http://educa.fcc.org.br/pdf/reflex/v25n2/1982-9949-reflex-25-02-00152.pdf. Acesso em 10/05/2023. DOI: https://doi.org/10.17058/rea.v25i2.8891

HUMBLE, Niklas; MOZELIUS, Peter. The threat, hype, and promise of artificial intelligence in education. Discover Artificial Intelligence, v. 2, n. 1, p. 22, 2022. Disponível em: https://link.springer.com/article/10.1007/s44163-022-00039-z. Acesso em 10/05/2023. DOI: https://doi.org/10.1007/s44163-022-00039-z

KASNECI, Enkelejda et al. ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, v. 103, p. 102274, 2023. Disponível em: https://www.sciencedirect.com/science/article/pii/S1041608023000195. Acesso em 10/05/2023. DOI: https://doi.org/10.1016/j.lindif.2023.102274

LI, Yingcong et al. Transformers as Algorithms: Generalization and Stability in In-context Learning. arXiv, n. 2301.07067, p. 1-34, 2023. Disponível em: https://intra.ece.ucr.edu/~oymak/Transformers_as_algorithms.pdf. Acesso em 10/05/2023.

LIANG, Weixin et al. GPT detectors are biased against non-native English writers. arXiv preprint arXiv:2304.02819, 2023. Disponível em: https://arxiv.org/abs/2304.02819. Acesso em 10/05/2023.

LIAO, Wenxiong et al. Differentiate ChatGPT-generated and Human-written Medical Texts. arXiv preprint arXiv:2304.11567, 2023. Disponível em: https://arxiv.org/abs/2304.11567. Acesso em 10/05/2023.

LIU, Pengfei et al. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. ACM Computing Surveys, v. 55, n. 9, p. 1-35, 2023. Disponível em: https://dl.acm.org/doi/full/ 10.1145/3560815. Acesso em 10/05/2023. DOI: https://doi.org/10.1145/3560815

OPEN AI INCORPORATED. GPT-4 Technical Report. ArXiv, n.2303.08774, 2023. Disponível em: https://arxiv.org/pdf/2303.08774.pdf. Acesso em 10/05/2023.

PINTO, Rosilaine A. Métodos de Ensino e Aprendizagem sob a Perspectiva da Taxonomia de Bloom. Revista Contexto & Educação, v. 30, n. 96, p. 126-155, 2015. Disponível em: https://www.revistas.unijui.edu.br/index.php/contextoeducacao/article/view/4290 . Acesso em 10/05/2023.

RICIERI, D. da V. et al. Erros comuns de docentes sem letramento em Inteligência Artificial: uma revisão integrativa para o ensino superior. Peer Review, v.6, n. 7, 284–300, 2024. Disponível em: https://doi.org/10.53660/PRW-1986-3703 Acesso em 02/04/2024. DOI: https://doi.org/10.53660/PRW-1986-3703

ROCHA, Daniyel NN; CAMPELO, Cláudio EC; JERÔNIMO, Caio LM. Aplicação de verbos como proxy para identificação automática do nível cognitivo de questões: uma abordagem baseada na taxonomia de Bloom. In: Anais do XXXII Simpósio Brasileiro de Informática na Educação. SBC, 2021. p. 897-908. Disponível em: https://sol.sbc.org.br/index.php/sbie/article/view/18116. Acesso em 10/05/2023. DOI: https://doi.org/10.5753/sbie.2021.218656

SALAS-PILCO, Sdenka Zobeida; YANG, Yuqin. Artificial intelligence applications in Latin American higher education: a systematic review. International Journal of Educational Technology in Higher Education, v. 19, n. 1, p. 1-20, 2022. Disponível em: https://educationaltechnologyjournal.springeropen.com/articles/10.1186/s41239-022-00326-w. Acesso em 10/05/2023. DOI: https://doi.org/10.1186/s41239-022-00326-w

SCOCUGLIA, Afonso Celso. As interconexões da pedagogia crítica de Paulo Freire. Filosofia e Educação, v. 10, n. 1, p. 200-232, 2018. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/rfe/article/view/8652006/17703. Acesso em 10/05/2023. DOI: https://doi.org/10.20396/rfe.v10i1.8652006

SHIN, Taylor et al. Autoprompt: Eliciting knowledge from language models with automatically generated prompts. arXiv preprint arXiv:2010.15980, 2020. Disponível em: https://arxiv.org/abs/2010.15980. Acesso em 10/05/2023. Acesso em 10/05/2023.

SOUZA, Fabiano Rodrigues et al. SIMULAÇÃO DE DIÁLOGOS E PERSONAGENS NO CHAT-GPT4: ANÁLISE COMPARATIVA DO DESEMPENHO EM IDIOMAS INGLÊS E PORTUGUÊS. In: Anais do IV Congresso Brasileiro Interdiscilinar em Ciência e Tecnologias. IV Cobicet: online. 2023. p. 1-8. Disponível em: https://www.researchgate.net/profile/Denise-Ricieri/publication/374999012. Acesso em 23/11/2023.

SOUSA, Anne Madeliny Oliveira Pereira de; ALVES, Ricardo Rilton Nogueira. A neurociência na formação dos educadores e sua contribuição no processo de aprendizagem. Revista Psicopedagogia, v. 34, n. 105, p. 320-331, 2017. Disponível em: http://pepsic.bvsalud.org/pdf/psicoped/v34n105/09.pdf. Acesso em 10/05/2023

VASWANI, Ashish et al. Attention is all you need. Advances in neural information processing systems, v. 30, 2017. Disponível em: https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1 c4a845aa-Abstract.html. Acesso em 10/05/2023.

WANG, Xinyi; ZHU, Wanrong; WANG, William Yang. Large language models are implicitly topic models: Explaining and finding good demonstrations for in-context learning. arXiv preprint arXiv:2301.11916, 2023. Disponível em: https://arxiv.org/abs/2301.11916. Acesso em 10/05/2023.

WEI, Jason et al. Chain of thought prompting elicits reasoning in large language models. arXiv preprint arXiv:2201.11903, 2022. Disponível em: https://arxiv.org/abs/2201.11903. Acesso em 10/05/2023.

ZAWACKI-RICHTER, Olaf et al. Systematic review of research on artificial intelligence applications in higher education–where are the educators? International Journal of Educational Technology in Higher Education, v. 16, n. 1, p. 1-27, 2019. Disponível em: https://educationaltechnologyjournal.springeropen.com/articles/10.1186/ s41239-019-0171-0?fbclid=IwAR0vSk4s9y0V0vExpcAel6yL4LEb-PrNDnlreOB5WrGxlu8-3awpYGgK6Ig. Acesso em 10/05/2023.