Speakers
Description
이 연구는 한국어 부정문에 대한 생성형 AI의 문법 능력을 평가하여, 국내외 언어모델의 성능 향상을 위해 한국어 연구가 기여할 수 있는 구체적인 내용을 제시하는 것을 목적으로 한다. 여기서 문법 능력 평가는 이해와 생성의 관점으로 나누어 볼 수 있는데, 문법 능력 중 이해 평가는 문법성 판단 테스트를 의미하고, 생성 평가는 잘못된 문장을 문법적으로 바르게 수정할 수 있는가를 평가하는 것이다.
본 연구를 위해 남기심고〮영근 외(2019)의 『새로 쓴 표준 국어문법론』의 ‘부정문’ 관련 예문 127개를 기본으로 하여 한국어 부정문의 특징을 보완할 수 있는 예문을 추가하여 평가 데이터 세트를 구축하고자 한다. 그리고 이 예문들을 대상으로 국내외 주요 생성형 AI를 이용하여 평가한 후, 그 결과를 비교 분석하고자 한다. 국내외 주요 생성형 AI로는 ChatGPT 3.5, ChatGPT 4.0, 구글의 Gemini, 국내 기업인 네이버의 CLOVA X 등 네 가지를 선정하였다.
한국어의 부정문은 어휘적 부정문 외에도 통사적 부정문으로 ‘안 부정문’, ‘못 부정문’, ‘말다 부정문’이 있다. 부정문과 관련한 문법성 판단 능력 평가에서는 부정극어의 사용, 서술어에 따른 짧은 부정문 제약, 서법 제약 등에서 오류를 보일 수 있을 것인데, 테스트 후 그 상세한 양상을 살펴보고자 한다. 그리고 비문을 적형의 문장으로 수정하도록 요구하는 생성 평가에서는 먼저 각각의 AI가 생성한 문장의 적합성을 판단한 후, 오류 유형을 정리하고 추가 테스트를 통해 AI의 부정문 생성 능력에 관한 특성을 정리하고자 한다. 생성형 AI는 텍스트를 생성하는 것이 주된 기능이지만, 주어진 조건에 맞춰 문법적으로, 의미적으로 정확한 문장을 생성하는 데에 있어서 미세하게 보이는 한계에 대해 본 실험을 통해서 확인할 수 있을 것이다.
본 연구를 통해 도출된 생성형 AI의 문법 능력 평가 결과는 향후 생성형 AI와 LLM의 한국어 교육 및 국어 교육에의 활용 등에 기여할 수 있으며, 미세 조정이 필요한 항목 등 국어학 연구가 인공지능 발달에 기여할 수 있는 부분을 제시할 수 있을 것으로 보인다.
