논문 한 장 요약 · ChatGPT가 만든 참고문헌 검증 연구 질문 · 1쪽 초록 ChatGPT가 생성한 참고문헌에서 실재하지 않는 저작물이 얼마나 나왔고, 실재 문헌의 서지 정보에는 어떤 오류가 있었는가? 방법 · 2–3쪽 2023년 4월 첫 주 GPT-3.5와 GPT-4에 같은 42개 주제로 짧은 문헌고찰을 요청했다. 총 84편의 말미에 들어간 참고문헌 636건을 검색 서비스와 출판사 자료로 대조했다. 제목·저자가 일치하거나 상당히 가까운 저작물이 확인되면 실재하는 문헌으로 분류했다. 결과 · 4쪽 표 3·4 2023년 4월 첫 주 실험에서 GPT-4가 만든 참고문헌 414건 중 18%는 실제 저작물을 확인할 수 없었다. GPT-3.5의 해당 비율은 참고문헌 222건 중 55%였다. 실재를 확인한 참고문헌에서 저자·날짜·권·호·쪽 등 실질적인 서지 오류가 하나 이상 있는 비율은 GPT-3.5 43%(101건이 분모), GPT-4 24%(340건이 분모)였다. 해석 범위 · 6쪽 저자들이 체계적으로 검사한 범위는 두 모델이 해당 과제의 말미에 생성한 참고문헌이다. 저자들은 문헌고찰 본문 전반의 허위 주장을 체계적으로 검사하지 않았다고 밝혔다. 이 수치의 적용 범위는 위 시기의 모델과 문헌고찰 과제다. 출처 · William H. Walters · Esther Isabelle Wilder, Scientific Reports 13, 14045 (2023) Fabrication and errors in the bibliographic citations generated by ChatGPT DOI · https://doi.org/10.1038/s41598-023-41032-5 표 3 · https://pmc.ncbi.nlm.nih.gov/articles/PMC10484980/#Tab3 해석 범위 · https://www.nature.com/articles/s41598-023-41032-5.pdf#page=6 © The Author(s) 2023 · CC BY 4.0 · https://creativecommons.org/licenses/by/4.0/ 원포트에서 한국어로 요약하고 수치를 다시 정리했습니다.