발표 대본 검토에 쓴 논문과 실제 AI 초안 William H. Walters · Esther Isabelle Wilder, Scientific Reports 13, 14045 (2023) Fabrication and errors in the bibliographic citations generated by ChatGPT 2023년 4월 첫 주 · 같은 주제 42개 · 문헌고찰 84편 · 참고문헌 636건 표 3 · GPT-3.5 참고문헌 222건 중 55% · GPT-4 참고문헌 414건 중 18%를 실재하지 않는 문헌으로 분류 연구진은 문헌고찰 본문 전체의 허위 주장을 체계적으로 조사하지 않았습니다. 원문 DOI · https://doi.org/10.1038/s41598-023-41032-5 원문 표 · https://pmc.ncbi.nlm.nih.gov/articles/PMC10484980/#Tab3 연구의 범위 · https://www.nature.com/articles/s41598-023-41032-5.pdf#page=6 © The Author(s) 2023 · CC BY 4.0 · https://creativecommons.org/licenses/by/4.0/ 같은 자료로 보낸 요청 아래에 제공한 논문 사실만 이용해 연구기관의 비전공 청중에게 읽어 줄 45초 안팎의 한국어 발표 대본을 써 주세요. 질문·방법·핵심 결과·해석 범위를 쉽게 전달하고, GPT-4의 18%가 무엇의 비율인지 분모와 함께 정확히 말해 주세요. 연구 당시의 모델이나 과제를 오늘날의 AI 전체로 확대하지 마세요. 대본만 4~5문장으로 답해 주세요. William H. Walters와 Esther Isabelle Wilder, Scientific Reports 13, 14045 (2023), DOI 10.1038/s41598-023-41032-5. 2023년 4월 첫 주에 GPT-3.5와 GPT-4에 같은 42개 주제로 짧은 문헌고찰을 요청했습니다. 84편이 만든 참고문헌 636건을 대조했습니다. 표 3에서 GPT-3.5가 만든 참고문헌 222건의 55%, GPT-4가 만든 참고문헌 414건의 18%가 실재하지 않는 문헌으로 분류됐습니다. 연구진은 문헌고찰 본문 전체의 허위 주장을 체계적으로 조사하지 않았습니다. 이 결과는 해당 시기의 두 모델, 이 과제에서 나온 참고문헌에 한합니다. 실제 응답 A · Claude Sonnet 5.5 저는 오늘 AI가 문헌고찰을 쓸 때 만들어 내는 참고문헌이 실제로 존재하는지를 확인한 연구를 소개합니다. 연구진은 2023년 4월 첫 주에 GPT-3.5와 GPT-4에 똑같은 42개 주제로 짧은 문헌고찰을 쓰게 했고, 이렇게 나온 84편에 달린 참고문헌 636건을 하나씩 대조했습니다. 그 결과 GPT-3.5가 만든 참고문헌 222건 가운데 55%, GPT-4가 만든 참고문헌 414건 가운데 18%가 실제로 존재하지 않는 문헌으로 분류됐습니다. 즉 GPT-4의 18%는 GPT-4가 제시한 참고문헌 414건 중 가짜로 판정된 비율이지, 글 전체나 모든 주장 중 틀린 비율이 아닙니다. 연구진은 본문 속 허위 주장은 체계적으로 조사하지 않았고, 이 결과는 당시 두 모델이 이 과제에서 만든 참고문헌에만 해당하므로 오늘날의 AI 전체로 넓혀 해석해서는 안 됩니다. 실제 응답 B · GPT-6.2 Sol 이 연구는 GPT-3.5와 GPT-4가 짧은 문헌고찰을 쓸 때, 참고문헌에 실제로 존재하지 않는 자료를 얼마나 자주 넣는지 살펴봤습니다. 연구진은 2023년 4월 첫 주에 두 모델에 똑같은 42개 주제로 글을 써 달라고 요청한 뒤, 글 84편에 담긴 참고문헌 636건을 대조했습니다. 그 결과 GPT-3.5가 제시한 참고문헌 222건 중 55%, GPT-4가 제시한 참고문헌 414건 중 18%가 실제로 존재하지 않는 문헌으로 분류됐습니다. 연구진은 글 본문에 사실과 다른 주장이 얼마나 있는지는 체계적으로 조사하지 않았습니다. 따라서 이 수치는 당시 두 모델이 이 과제에서 제시한 참고문헌에만 해당하며, 오늘날 AI 전체에 적용할 수는 없습니다.