조선대학교(총장 김춘성) AI소프트웨어학부 김현일 교수 연구팀이 우리가 일상에서 사용하는 스마트폰 키보드, 음성비서, 챗봇 등에 활용되는 연합학습(Federated Learning) AI에서 새로운 보안 약점을 발견했다.
연구에는 조선대 김현일 교수(교신저자)와 최민영 석사과정생(제1저자)이 핵심 연구자로 참여했으며, 기존 보안 기술을 모두 우회하면서도 오랫동안 사라지지 않는 백도어(부정 조작) 공격을 구현하는 데 성공했다.
‘연합학습’은 개인정보보호를 위해 사용자의 스마트폰이 스스로 AI를 학습하고 그 결과만 서버에 보내는 기술이다. 연구팀은 AI 내부 구조를 자세히 분석한 결과, 특정 부분에서 ‘공격이 숨어들기 쉬운 약한 지점’이 존재함을 확인했다.
특히 GPT-2 및 T5 등의 AI 모델에서의 특정 계층은 외부에서 유입된 공격 신호가 장기간 유지되는 쉬운 구조임을 밝혀냈다. GPT-2는 OpenAI ChatGPT의 전신이며 동일한 Transformer 기반 구조로 구성됐기 때문에, 해당 취약점은 현재 상용 모델에서도 매우 위협적임을 의미한다.
연구팀이 개발한 새로운 공격 방식인 SDBA는 이러한 약한 지점을 정밀하게 노려, 정상 업데이트처럼 보이게 위장하면서 AI 내부에 공격 명령을 은밀히 삽입한다. 실험 결과 SDBA는 기존 공격보다 2~3배 더 오래 지속됐으며, 일부 AI 모델에서는 공격 효과가 최대 565라운드까지 유지되는 등 매우 강력한 지속성을 보였다.
이는 실제 서비스 환경에서 특정 문장이나 조건에서만 비정상적인 답변이 출력되는 ‘조건부 오동작’을 유도할 수 있음을 의미한다. 스마트폰 키보드, 음성비서, 챗봇 등 연합학습 기반 서비스가 광범위하게 사용되고 있는 점을 고려하면, 이용자가 공격 여부를 인지하지 못한 채 왜곡된 정보에 장기간 노출될 위험이 있다.
특히 서비스 제공자조차 정상 업데이트와의 차이를 파악하기 어렵다는 점에서, 이러한 취약점이 기존 보안 체계의 한계를 드러내고 더 큰 보안 위협으로 이어질 수 있다는 것이 연구팀의 설명이다.
김현일 교수는 “이번 연구는 연합학습 기반 AI가 어떤 구조에서 공격에 취약한지 밝혀낸 매우 중요한 성과”라며 “AI 보안은 이제 공격을 막는 수준을 넘어, AI 내부 구조 자체를 이해하고 보호해야 하는 단계에 왔다”고 강조했다.
이번 성과는 세계적으로 권위 있는 정보보안 분야 저널 『IEEE Transactions on Dependable and Secure Computing』(JCR 상위 5%) 2025년 11월호에 게재 확정됐으며, 연구는 과학기술정보통신부 연구과제(과제번호 RS-2024-00398352)의 지원을 받아 수행됐다.
