- 읽는 분
- 논문 한 편을 비전공 청중에게 짧게 소개할 연구기관 구성원
- 끝나면
- 연습 문장의 범위를 고치고 논문 표와 출처가 붙은 발표 대본을 받습니다.
이 글의 목차 (2개 절)
01
발표에서 말할 비율의 분모 고르기
Walters와 Wilder는 두 모델이 쓴 문헌고찰의 참고문헌을 실제 저작물과 대조했어요. 같은 연구 사실을 두 AI에 주고 비전공 청중용 대본을 요청했습니다.
편집부가 만든 연습 문장과 AI의 실제 답을 함께 볼 수 있어요. 먼저 연습 문장에서 답변 전체와 참고문헌 중 무엇을 센 연구인지 골라 보세요.
논문이 센 것은 무엇인가요?
2023년 4월 첫 주 · 84편의 문헌고찰 · 참고문헌 636건
편집부가 만든 연습 문장
논문에 따르면 지금 GPT-4 답변의 18%가 출처를 지어냅니다.
실제 답 A · Claude Sonnet 5.5
저는 오늘 AI가 문헌고찰을 쓸 때 만들어 내는 참고문헌이 실제로 존재하는지를 확인한 연구를 소개합니다. 연구진은 2023년 4월 첫 주에 GPT-3.5와 GPT-4에 똑같은 42개 주제로 짧은 문헌고찰을 쓰게 했고, 이렇게 나온 84편에 달린 참고문헌 636건을 하나씩 대조했습니다. 그 결과 GPT-3.5가 만든 참고문헌 222건 가운데 55%, GPT-4가 만든 참고문헌 414건 가운데 18%가 실제로 존재하지 않는 문헌으로 분류됐습니다. 즉 GPT-4의 18%는 GPT-4가 제시한 참고문헌 414건 중 가짜로 판정된 비율이지, 글 전체나 모든 주장 중 틀린 비율이 아닙니다. 연구진은 본문 속 허위 주장은 체계적으로 조사하지 않았고, 이 결과는 당시 두 모델이 이 과제에서 만든 참고문헌에만 해당하므로 오늘날의 AI 전체로 넓혀 해석해서는 안 됩니다.
실제 답 B · GPT-6.2 Sol
이 연구는 GPT-3.5와 GPT-4가 짧은 문헌고찰을 쓸 때, 참고문헌에 실제로 존재하지 않는 자료를 얼마나 자주 넣는지 살펴봤습니다. 연구진은 2023년 4월 첫 주에 두 모델에 똑같은 42개 주제로 글을 써 달라고 요청한 뒤, 글 84편에 담긴 참고문헌 636건을 대조했습니다. 그 결과 GPT-3.5가 제시한 참고문헌 222건 중 55%, GPT-4가 제시한 참고문헌 414건 중 18%가 실제로 존재하지 않는 문헌으로 분류됐습니다. 연구진은 글 본문에 사실과 다른 주장이 얼마나 있는지는 체계적으로 조사하지 않았습니다. 따라서 이 수치는 당시 두 모델이 이 과제에서 제시한 참고문헌에만 해당하며, 오늘날 AI 전체에 적용할 수는 없습니다.
발표 대본에 남길 연구 범위
| 말할 항목 | 원문 근거 | 표현할 범위 |
|---|---|---|
| 비교 대상 | 원문 근거2023년 4월 첫 주 두 모델 | 표현할 범위당시 실험으로 한정 |
| GPT-4 결과 | 원문 근거참고문헌 414건 중 18%를 실재하지 않는 문헌으로 분류 | 표현할 범위비율과 분모를 함께 말하기 |
| 분모 | 원문 근거두 모델 문헌고찰의 참고문헌 636건 | 표현할 범위참고문헌 수를 명시 |
| 제외한 범위 | 원문 근거본문 전체의 허위 주장은 체계적으로 조사하지 않음 | 표현할 범위AI 전체의 정확도로 일반화하지 않음 |
발표 문장은 실험 시기·분모·확인하지 않은 범위를 함께 말해요.
복사용 문안
고친 발표 문장
2023년 4월 첫 주 실험에서 GPT-4가 만든 참고문헌 414건 중 18%는 실재 저작물을 확인할 수 없었습니다.
02
청중에게 어떤 결과까지 말할 수 있나
이 연구의 비율은 해당 시기 두 모델이 문헌고찰 과제에서 만든 참고문헌에 관한 값이에요. 최신 모델이나 문헌고찰 본문 전체의 정확도를 보여 주는 자료로 쓰려면 다른 근거가 필요해요.
발표 대본에는 연구의 질문, 비교한 자료, 그 자료 안에서 확인한 결과를 순서대로 담았어요. 원문 표와 해석 범위는 다운로드에도 함께 있어요.
읽은 다음에
출처와 확인일
- Walters·Wilder 논문 표 3 · 확인
- 논문의 범위와 방법 · 확인
- 연구 근거와 실제 두 답 · 확인
원포트 AI 운영사 스피커블이 위 출처를 그날 열어 확인하고 썼어요. 확인하는 방법
함께 보면 좋은 글과 도움말
- 개발 가이드공개 논문을 한 장으로 요약하는 법 · 결과 수치에 쪽수와 분모 붙이기ChatGPT 참고문헌을 검증한 공개 논문으로 결과 수치의 분모를 확인하고, 연구 질문·방법·결과·한계를 한 장에 담아요.
- 기관 도입대학 강의계획서 AI 활용 방침 작성법 — 허용 범위·출처 표기 항목 예시대학 수업에서 생성형 AI 허용 범위와 출처 표기 규칙을 강의계획서에 넣는 방법과, 대학 스페이스에서 강의계획서 AI 안내 한글 파일(.hwpx)을 받는 순서예요.
- 기관 도입공공기관 생성형 AI 가이드라인 지도 — 직원 입력 점검표와 도입 순서공공기관 생성형 AI 가이드라인은 국가정보원·개인정보보호위원회·행정안전부 문서로 나뉘어 있어요. 문서 8개를 한 표로 보고, 직원 공지용 입력 점검표와 도입 순서를 그대로 가져가세요.