 |
뤼이드는 자사 AI 연구진이 제출한 ‘딥러닝 기반 점수예측 모델의 학습 참여도 향상효과 검증에 대한 논문’(논문명: Prescribing Deep Attentive Score Prediction Attracts Improved Student Engagement)이 교육 인공지능 학회 ‘EDM’(Educational Data Mining)에 정식 논문으로 채택됐다고 1일 밝혔다.
뤼이드는 올 2월에도 모바일 학습 환경에서 학습 이탈 확률을 예측하는 딥러닝 기술을 연구한 논문이 에듀테크 학회 CSEDU에 등재된 바 있다.
뤼이드의 이번 논문에는 자사의 AI 토익 튜터 ‘산타’에서 두 가지 점수 예측 모델에 대한 AB테스트 진행 결과를 담았다. 더 높은 정확도의 딥러닝 점수예측 모델을 적용하면 사용자의 학습 참여도가 높아지고, 결과적으로 비즈니스 성장을 견인한다는 사실을 입증했다는 설명이다.
특히 이번 논문은 딥러닝 기술 적용이 학습자에 미치는 긍정적 영향을 실제 학습 환경에 적용했다. 미리 수집한 데이터로 통제된 연구실에서 실험한 결과가 아닌 실제 서비스 환경에서 실사용자에 적용해 신뢰성을 더하고 있다.
연구진은 한 달 동안 자사 AI튜터 플랫폼인 ‘산타’ 유저 7만8000명을 대상으로 AB테스트를 진행했다. 그룹을 나눠 한 그룹은 자체 연구 개발한 딥러닝 점수예측 모델을, 다른 그룹은 기존 점수 예측 모델을 적용했다. 대상자들이 문제를 풀 때마다 실시간으로 자신의 예상 점수를 확인할 수 있게 했다.
실험 결과 점수예측 정확도가 높은 딥러닝 모델의 실험군이 기존 모델을 적용한 실험군보다 학습참여도를 보여주는 총 6가지의 지표에서 일관되게 높은 수치를 보였다. 예컨대 ‘진단고사 완료율’, ‘서비스 가입률’, ‘서비스 가입 후 문제풀이 수’는 각각 1.49%, 3.29%, 13.48% 더 높았다. 보다 적극적인 학습 참여도 측정 지표인 ‘결제 전환율’, ‘사용자당 평균 매출’, ‘전체 매출’에서도 각각 15.19%, 14.13%, 13.98% 향상된 결과가 측정됐다.
특히 이번 실험에 적용된 딥러닝 점수예측 모델은 뤼이드가 자체 연구 개발한 트랜스포머 기반의 ‘어세스먼트 모델링’으로 구현한 새로운 점수 예측 모델이다. 정확한 점수 예측에 필요한 실제 시험점수 데이터의 부족을 해결하고자 연구진은 학습 플랫폼에서 생성되는 유저의 문제풀이 데이터를 모델에 예비학습(pre-train)시키고 이를 점수 예측에 맞게 정교화(fine-tune)하는 기술을 제안했다. 해당 기술을 적용한 점수예측 모델은 기존 모델 대비 MAE(Mean Absolute Error)기준 36.8%높은 예측 정확도를 보인다.
장영준 뤼이드 대표는 “딥러닝 기술의 실질적인 효과 검증 없이 시장을 설득하는 것은 분명 한계가 있다”며 “뤼이드는 앞으로도 산업적 파급력을 기반으로 AI를 연구하고 빠른 상용화를 통해 기술의 실제 효과를 증명하는 등 모두가 주목하는 새로운 사례들을 만들어 나갈 것”이라고 말했다.
김상우 기자 ksw@viva100.com
