TBLT-AgentSLA × NLP Research Project

TBLT-Agent음성 AI 과업 대화자

TBLT-Agent는 제2언어 습득(SLA) 연구자와 자연어처리(NLP) 연구자가 함께 개발하는 실시간 음성 AI 시스템입니다. 과업 기반 언어교수법(TBLT)과 컴퓨터 지원 협력학습(CSCL)에 근거해, AI가 초등 EFL 학습자와 영어로 대화하며 과업을 함께 수행합니다.

AI를 단순한 응답 도구가 아닌 과업 대화자(Task Interlocutor)로 설계하고, AI의 상호작용 역할이 학습자의 과업 수행과 L2 학습에 미치는 영향을 실제 교실에서 연구합니다.

시스템 체험하기
  • Georgia State University
  • Seoul National UniversitySeoul National University
  • KAIST
  • Cheongju National University of EducationCheongju National University of Education

System

학습자 1명과 AI의 1:1 대화에서 출발해, 두 학습자의 협력을 AI가 지원하는 3자 대화로 확장하고 있습니다.

  1. System 01 · Realtime

    Realtime Task Interlocutor

    • In Classroom

    AI 캐릭터가 학습자 1명과 영어 말하기 과업을 실시간 음성으로 함께 수행합니다. AI의 상호작용 역할은 주도형 또는 협력형으로 설정합니다.

    참여자
    학습자 1명 · AI 1명
    음성 처리
    OpenAI Realtime 모델 기반 실시간 대화
    AI 역할
    주도형(Dominant) · 협력형(Collaborative) — Storch의 pair dynamics model

  2. System 02 · Pipeline

    Multiparty Tutor

    • In Development

    두 학습자가 하나의 과업을 세 단계에 걸쳐 함께 발전시킵니다. 학습자끼리 대화하는 동안 AI는 기다리고, 두 학습자가 단계를 마치면 영어 튜터로서 함께 잘한 점을 짚은 뒤 학습자별 학습 포인트를 지도합니다.

    참여자
    학습자 2명 · AI 1명
    음성 처리
    학습자별 음성 인식 → LLM → 음성 합성 파이프라인
    설계
    단계 진행과 연습 횟수는 상태 기계가 관리하고, LLM은 대화 근거에 따른 피드백(review · encourage · repair · examples)을 생성. 학습자별 연습은 최대 2회

  3. System 03 · Pipeline

    Multiparty Facilitator

    • Planned

    AI가 이름과 목소리를 가진 대화 안의 참여자, 영어에 능숙한 친구로서 두 학습자의 협력을 지원합니다. 매 순간 지금 말할지, 누구에게 말할지, 어떤 대화 행위가 필요한지를 판단하며, 학습자에게 발화 기회가 필요하면 기다립니다.

    참여자
    학습자 2명 · AI 1명
    설계
    발화 해석(NLU) → 대화 상태 추적(DST) → 대화 행위 선택(Policy) → 문장 생성(NLG)
    연구
    LLM 대화 행위 스키마 정의, 교사 주석 기반 LLM 평가자 검증, 상용 LLM의 개입 판단 벤치마크

Get Started

How to access

아래 테스트 계정으로 학습자 경험을 직접 확인할 수 있습니다.

  1. STEP 01

    학습자 시스템 열기

    아래 주소를 열어 TBLT-Agent 로그인 화면으로 이동합니다.

    tblt-agent.net
  2. STEP 02

    테스트 계정 입력

    학생용 테스트 계정 정보를 각 입력란에 입력합니다.

    학번
    99999
    이름
    test
    Access code
    aa00
  3. STEP 03

    영어 과업 시작

    안내에 따라 마이크 사용을 허용하고 실시간 음성 과업을 시작합니다.

    마이크가 연결된 Chrome 기반 브라우저를 권장합니다.
시스템 접속하기

Studies

TBLT-Agent를 실제 초등 EFL 교실에 적용해 수행하는 연구입니다.

Study 02 · 2026 Fall

When, to Whom, and How LLM Participates?

두 학습자의 영어 협력 대화에 LLM이 참여할 때, 언제 말할지 · 누구에게 말할지 · 어떤 대화 행위를 할지에 대한 교육적 판단 기준을 세웁니다. 실제 초등 EFL 교실에서 학생-학생-AI 대화를 수집해 데이터셋과 벤치마크를 구축합니다.

  • In Progress
  • Dataset & Benchmark
RQ1
EFL 환경에서 어린 학습자 간 협력적 언어 학습을 촉진하기 위한 LLM의 대화 행위 스키마는 어떻게 정의될 수 있는가?
RQ2
LLM 평가자는 이 스키마에 따라 LLM 대화 행위의 적절성을 얼마나 교사와 유사하게 평가하는가?
RQ3
Off-the-shelf LLM은 개입 시점과 대화 행위를 얼마나 적절하게 선택하는가?
방법
초등 EFL 4개 반 약 100명의 학생-학생-AI 대화 수집 → 1차 스키마 도출 → 교사 피드백·주석으로 확정 → GPT · Claude · Gemini · Llama · Qwen 등 비교

Team

SLA 그룹은 과업과 상호작용 역할을 이론에 근거해 설계하고, NLP 그룹은 이를 실시간 음성 시스템으로 구현합니다.

Faculty

  • YouJin KimProfessor
    Applied Linguistics and ESL
    Georgia State University
  • Yohan JoAssistant Professor
    Graduate School of Data Science
    Seoul National University

SLA Group

  • Sak LeePh.D. Student
    Georgia State University
  • Junbo KohResearcher
    Learning Sciences Research Institute, SNU

NLP Group

  • Junbo KohResearcher
    Learning Sciences Research Institute, SNU
  • Seongyeub ChuPh.D. in Data Science
    KAIST
  • Minje KimPh.D. Student in Elementary English Education
    CNUE

Publications

  • Generative AI as a Task Interlocutor in Task-Based Language Learning: Interactional Roles, Corrective Feedback, and L2 Development
    YouJin Kim, Sak Lee, and Junbo Koh
    Modern Language Journal, (In-Progress) [SSCI, Q1, IF 4.5]
  • Generative AI as a Task Interlocutor: Effects of AI Interactional Roles on Collaborative Task Performance and L2 Learning
    YouJin Kim, Sak Lee, and Junbo Koh
    System, (In-Progress) [SSCI, Q1, IF 8.0]
  • Effects of AI Interactional Roles on Collaborative Task Performance and L2 Learning among Young Learners
    YouJin Kim, Sak Lee, and Junbo Koh
    AAAL 2027: American Association for Applied Linguistics, (Accepted) (Link)