본문으로 건너뛰기
원포트 AI

논문 수치를 발표 대본으로 옮길 때 — 말하기 전에 분모 확인하기

이 연구의 18%는 GPT-4가 만든 참고문헌 414건 중 실재하지 않는 문헌으로 분류된 비율이에요. 발표에서는 2023년 4월 첫 주의 두 모델·문헌고찰 과제 범위까지 함께 말해요.

출처 3곳 · 확인약 2분 읽기화면 영상
발표 대본에 남길 연구 범위
발표 대본에 남길 연구 범위
비교 대상원문 근거2023년 4월 첫 주 두 모델표현할 범위당시 실험으로 한정
GPT-4 결과원문 근거참고문헌 414건 중 18%를 실재하지 않는 문헌으로 분류표현할 범위비율과 분모를 함께 말하기
분모원문 근거두 모델 문헌고찰의 참고문헌 636건표현할 범위참고문헌 수를 명시

나머지 1줄과 설명 보기

읽는 분
논문 한 편을 비전공 청중에게 짧게 소개할 연구기관 구성원
끝나면
연습 문장의 범위를 고치고 논문 표와 출처가 붙은 발표 대본을 받습니다.
이 글의 목차 (2개 절)
01

발표에서 말할 비율의 분모 고르기

Walters와 Wilder는 두 모델이 쓴 문헌고찰의 참고문헌을 실제 저작물과 대조했어요. 같은 연구 사실을 두 AI에 주고 비전공 청중용 대본을 요청했습니다.

편집부가 만든 연습 문장과 AI의 실제 답을 함께 볼 수 있어요. 먼저 연습 문장에서 답변 전체와 참고문헌 중 무엇을 센 연구인지 골라 보세요.

논문이 센 것은 무엇인가요?

2023년 4월 첫 주 · 84편의 문헌고찰 · 참고문헌 636건

편집부가 만든 연습 문장

논문에 따르면 지금 GPT-4 답변의 18%가 출처를 지어냅니다.

실제 답 A · Claude Sonnet 5.5
저는 오늘 AI가 문헌고찰을 쓸 때 만들어 내는 참고문헌이 실제로 존재하는지를 확인한 연구를 소개합니다. 연구진은 2023년 4월 첫 주에 GPT-3.5와 GPT-4에 똑같은 42개 주제로 짧은 문헌고찰을 쓰게 했고, 이렇게 나온 84편에 달린 참고문헌 636건을 하나씩 대조했습니다. 그 결과 GPT-3.5가 만든 참고문헌 222건 가운데 55%, GPT-4가 만든 참고문헌 414건 가운데 18%가 실제로 존재하지 않는 문헌으로 분류됐습니다. 즉 GPT-4의 18%는 GPT-4가 제시한 참고문헌 414건 중 가짜로 판정된 비율이지, 글 전체나 모든 주장 중 틀린 비율이 아닙니다. 연구진은 본문 속 허위 주장은 체계적으로 조사하지 않았고, 이 결과는 당시 두 모델이 이 과제에서 만든 참고문헌에만 해당하므로 오늘날의 AI 전체로 넓혀 해석해서는 안 됩니다.
실제 답 B · GPT-6.2 Sol
이 연구는 GPT-3.5와 GPT-4가 짧은 문헌고찰을 쓸 때, 참고문헌에 실제로 존재하지 않는 자료를 얼마나 자주 넣는지 살펴봤습니다. 연구진은 2023년 4월 첫 주에 두 모델에 똑같은 42개 주제로 글을 써 달라고 요청한 뒤, 글 84편에 담긴 참고문헌 636건을 대조했습니다. 그 결과 GPT-3.5가 제시한 참고문헌 222건 중 55%, GPT-4가 제시한 참고문헌 414건 중 18%가 실제로 존재하지 않는 문헌으로 분류됐습니다. 연구진은 글 본문에 사실과 다른 주장이 얼마나 있는지는 체계적으로 조사하지 않았습니다. 따라서 이 수치는 당시 두 모델이 이 과제에서 제시한 참고문헌에만 해당하며, 오늘날 AI 전체에 적용할 수는 없습니다.
발표 대본에 남길 연구 범위
발표 대본에 남길 연구 범위
비교 대상원문 근거2023년 4월 첫 주 두 모델표현할 범위당시 실험으로 한정
GPT-4 결과원문 근거참고문헌 414건 중 18%를 실재하지 않는 문헌으로 분류표현할 범위비율과 분모를 함께 말하기
분모원문 근거두 모델 문헌고찰의 참고문헌 636건표현할 범위참고문헌 수를 명시
제외한 범위원문 근거본문 전체의 허위 주장은 체계적으로 조사하지 않음표현할 범위AI 전체의 정확도로 일반화하지 않음

발표 문장은 실험 시기·분모·확인하지 않은 범위를 함께 말해요.

복사용 문안

고친 발표 문장

2023년 4월 첫 주 실험에서 GPT-4가 만든 참고문헌 414건 중 18%는 실재 저작물을 확인할 수 없었습니다.
02

청중에게 어떤 결과까지 말할 수 있나

실제 화면연구 발표 문장의 범위 바로잡기참고문헌 수를 분모로 고르면 실험 시기와 범위가 들어간 문장으로 바뀌어요.

이 연구의 비율은 해당 시기 두 모델이 문헌고찰 과제에서 만든 참고문헌에 관한 값이에요. 최신 모델이나 문헌고찰 본문 전체의 정확도를 보여 주는 자료로 쓰려면 다른 근거가 필요해요.

발표 대본에는 연구의 질문, 비교한 자료, 그 자료 안에서 확인한 결과를 순서대로 담았어요. 원문 표와 해석 범위는 다운로드에도 함께 있어요.

읽은 다음에

출처와 확인일

원포트 AI 운영사 스피커블이 위 출처를 그날 열어 확인하고 썼어요. 확인하는 방법

함께 보면 좋은 글과 도움말

← 블로그 전체 목록 보기