앤스로픽이 적발한 생성형 AI 악용 실태: 비용 감소와 자동화가 부른 보안 위협
앤스로픽이 적발한 생성형 AI 악용 실태: 비용 감소와 자동화가 부른 보안 위협
GeekNews · 2026-09-11 18:21
① 앤스로픽이 2025년 12월부터 2026년 8월까지 탐지한 클로드 악용 활동과 7개 영역의 구체적 대응 사례 공개
② 사이버 공격의 핵심 변화는 새로운 기법의 등장이 아니라 다중 에이전트를 통한 병렬 처리로 공격 비용과 실행 속도를 혁신적으로 낮춘 점에 존재
③ 단일 공격자가 대규모 데이터 탐색 및 대형 클라우드 관리자 권한 확보를 수 시간 만에 해내는 등 공격의 경제성 극대화
④ 콘텐츠 대량 생성을 넘어 고용 계약, 가짜 뉴스 사이트 조직 운영, 모바일 전국 감시 플랫폼 구축 등 AI가 개발과 운영 전반에 깊숙이 개입
⑤ 단순한 계정 차단과 텍스트 필터 기반의 사후 차단 방식으로는 한계가 있어 정교한 행동 기반 탐지와 안전장치 보강이 시급함
AI는 사이버 공격의 지형을 어떻게 바꾸고 있습니까?
인공지능 기술의 고도화는 사이버 보안 영역에서 방어자뿐 아니라 공격자에게도 강력한 무기를 쥐여주었습니다. 글로벌 AI 연구소 앤스로픽(Anthropic)이 발표한 보안 위협 보고서에 따르면, 최신 인공지능 악용 사례들은 완전히 새로운 해킹 기법을 발명해 내기보다 기존의 공격 과정을 자동화하여 실행 속도와 비용 효율성을 극대화하는 방향으로 전개되고 있습니다. 과거에는 고도로 훈련된 여러 명의 전문가 집단이 필요했던 해킹 캠페인을 이제는 소수의 인원, 심지어 단 한 명의 개인이 다중 에이전트(multi-agent, 여러 AI 모델이 협력하여 작업을 수행하는 시스템) 프레임워크를 활용해 병렬로 수행할 수 있게 되었습니다.
특히 공개된 공격 프레임워크인 펜트에이아이(PentAGI) 같은 도구들이 보급되면서, 정찰부터 도구 개발, 내부 침투, 데이터 탈취에 이르는 사이버 킬체인(cyber kill chain, 공격의 단계별 진행 과정)의 모든 단계를 스스로 수행하는 자동화가 가속화되고 있습니다. 침입 도중 보안 프로그램에 탐지되면 AI가 스스로 악성코드를 수정하고 다시 빌드하여 배포하는 폐쇄형 반복 과정을 구축하는 시도까지 포착되었습니다. 이는 방어자가 침해를 탐지하고 패치를 배포하는 속도보다 더 빠른 속도로 공격자가 우회로를 만들어낼 수 있음을 보여주는 심각한 변화입니다.
실제 침해 규모와 경제성 변화는 어느 정도 수준입니까?
AI를 도입한 공격자들의 작업 속도와 파괴력은 구체적인 수치로 증명되고 있습니다. 유명 해킹 그룹 샤이니헌터스(ShinyHunters)와 연계된 것으로 추정되는 위협 행위자(GTG-50014)는 안드로이드 APK(설용 파일 패키지) 180만 개에서 중요 비밀정보를 탐색했으며, 이 과정에서 단 한 명의 운영자가 SaaS(Software as a Service, 클라우드 기반 소프트웨어 서비스) 고객 조직 약 200곳의 데이터를 추출하는 데 성공했습니다. 복잡한 수작업 분석 과정을 거치지 않고 대규모 코드 베이스에서 취약점을 자동으로 스캔하는 능력이 극대화된 결과입니다.
또 다른 사례에서는 유출된 개발자 토큰 단 하나를 확보한 공격자가 전체 클라우드 관리자 권한을 손에 쥐기까지 단 3시간밖에 걸리지 않았습니다. 단독으로 활동한 위협 행위자(GTG-50029)는 추적된 표적 42곳 중 최소 14곳에 침투하여 내부 접근 권한을 획득했고, 이 탈취 자료를 과거에 유출된 다른 데이터베이스와 결합하여 무단 신상 공개 플랫폼을 제작하기도 했습니다. 인력 부족에 시달리던 공격자들에게 AI는 수십 명의 숙련된 분석가 역할을 대신해 주며 공격 생산성을 대폭 끌어올리고 있습니다.
AI 접근 권한 자체를 겨냥한 새로운 공격 양상은 무엇입니까?
최근에는 기업들이 구축해 둔 AI 인프라 자체가 주요 공격 표면(attack surface, 해커가 침투할 수 있는 시스템 경로)으로 떠오르고 있습니다. 개발자들이 공개 저장소나 애플리케이션, 컨테이너 환경에 실수로 노출한 API 키(API key, 인터페이스 호출용 인증 식별자)는 물론이고, 기업 내부에서 사용하는 AI 프록시, 에이전트 통합 시스템, 평가용 샌드박스(sandbox, 외부 영향 없이 안전하게 프로그램을 실행하는 격리 환경) 등이 공격 대상이 되고 있습니다.
대표적으로 위협 행위자(GTG-50020)는 약 4일 동안 AI 관련 기업 30여 곳을 동시다발적으로 공격했으며, 이 과정에서 미출시 상태인 클로드(Claude) 모델에 비정상적으로 접근하려는 통로를 12개 이상 시도했으나 모두 실패로 돌아갔습니다. 해당 사건에서 도난당한 토큰들은 앤스로픽 자체 시스템 내부의 것이 아니라 고객사 관리 환경에서 유출된 것들로 확인되었습니다. 전문가들은 AI 키와 통합 에이전트의 권한을 일반적인 보조 도구가 아닌 실제 상용 서버의 마스터 자격증명 수준으로 격상하여 강력히 보호해야 하며, 인증된 공식 경로를 통해서만 접근권을 관리할 것을 강력히 권고하고 있습니다.
콘텐츠 생성을 넘어선 조직 운영 및 시스템 개발 자동화 사례는 무엇입니까?
기존의 인공지능 오용이 주로 그럴싸한 가짜 뉴스 기사를 대량으로 써내는 영향력 공작에 머물렀다면, 이제는 그 단계를 넘어 작전을 수행하는 위장 조직의 생성과 관리 운영 단계까지 자동화되고 있습니다. 가짜 언론인이나 시민 페르소나를 정밀하게 만들어내는 것은 물론, 위장 언론사의 가짜 고용 계약서나 직원 평가 체계까지 AI를 통해 구축하여 실제 정상적인 조직처럼 보이도록 속이는 기법이 등장했습니다. 프랑스의 모 대행사로 추적된 세력은 약 70개의 위장 언론 사이트를 개설하고 20개 언어로 최소 8,913개의 조작 기사를 게시하여 여론 형성을 시도했습니다.
가장 충격적인 사례 중 하나는 대규모 국가 단위 감시 시스템 개발에 AI가 주된 개발자 역할을 수행했다는 점입니다. 말리의 라카나 360(Lakana 360) 프로젝트는 단 한 명의 클로드 구독자가 모델을 주 개발 인력으로 동원하여 만든 전국 규모의 통신 감시 플랫폼이었습니다. 이는 현지 이동통신사 3곳의 가입자 약 2,500만 명의 SIM 카드를 대상으로 설계되었으며, 초기 기획 단계에 있던 감시용 승인 절차를 제거하고 방대한 데이터를 분석 보고서로 변환하는 데 AI 코딩 능력이 전적으로 악용되었습니다. 이 시스템은 클라우드가 아닌 자체 물리 서버(on-premise, 온프레미스) 환경에 설치되었기 때문에, 앤스로픽이 뒤늦게 해당 구독자 계정을 차단했음에도 이미 가동 중인 감시 플랫폼의 작동을 완전히 정지시키지는 못했습니다.
생물학적 위험 및 무기 개발 분야에서의 탐지와 그 한계는 무엇입니까?
재래식 무기와 생물학적 악용 시도 영역에서도 다양한 탐지 사례가 보고되었습니다. 예멘의 유도로켓 시험 관련 지원 요청이나 드론 군집 제어용 제어판 시험 등 약 6건의 무기 개발 지원 시도가 차단되었습니다. 또한 이중용도(dual-use, 민간 연구 목적으로 쓰이면서도 무기 개발 등 유해한 목적으로 전용될 수 있는 성격)를 가진 위험 물질 관련 생물학 연구 사례도 5건 적발되었습니다. 하지만 이러한 위험을 시스템 내부 필터링만으로 완벽히 가려내는 데는 분명한 한계가 존재합니다.
악의적인 사용자들이 처음부터 "생물 무기를 만들겠다"고 요청하는 대신, 무해해 보이는 기초적인 대학 화학 실험이나 일반 생명공학 연구 질문으로 세분화하여 단계적으로 유도 질문을 던지면 고위험 필터 안전장치가 일관되게 차단하지 못하는 허점이 존재합니다. 앤스로픽은 단순히 질문의 단어만을 검사하는 콘텐츠 필터를 넘어, 해당 계정이 신뢰할 수 있는 기관 소속인지 검증하는 신원 파악(KYC) 체계와 사용 이력 데이터를 지속적으로 관찰하는 행동 기반 분석을 종합적으로 병합해야만 이 고도화된 악용 행위를 장기적으로 예방할 수 있다고 진단했습니다.
무단 모델 복제 및 데이터 노출은 우리에게 어떤 숙제를 던집니까?
일부 비공식 모델 프록시(proxy, 대리 요청 서버) 서비스나 허가받지 않은 연구소들이 사용자의 대화 내용을 수집하여 자사 모델 학습에 무단으로 우회 활용하는 일명 무단 증류(distillation, 성능이 좋은 대형 모델의 입출력 데이터를 수집해 소형 모델을 모방 학습시키는 기법) 현상도 확인되었습니다. 앤스로픽은 중국 소재 7개 연구소가 사용자의 실제 질문을 클로드로 전달해 응답을 가로채고 이를 학습 데이터로 정제하는 행위를 적발해 차단했습니다. 이 과정에서 사용자가 입력한 기업 기밀이나 시스템 인증정보가 제3자에게 원치 않게 흘러 들어가는 심각한 보안 유출 사고가 동반되고 있었습니다.
중요한 사실은 타사 모델이 클로드의 출력을 모방하여 겉보기 성능을 학습하더라도, 개발사가 오랜 시간 공들여 탑재한 내부의 안전장치와 필터링 메커니즘까지는 복제해 가지 못한다는 점입니다. 이는 겉으로만 고성능을 흉내 낸 안전장치 없는 위험한 모델들을 시장에 무분별하게 양산하는 결과로 이어집니다. AI 기반 도구를 실무에 도입하는 기업과 기획자들은 비용 절감을 위해 출처가 불분명한 우회 API나 비공식 중개 서비스를 활용할 경우 자사 데이터가 유출될 수 있다는 점을 명심하고, 인증 관리와 데이터 흐름의 투명성을 어느 때보다 엄격하게 검토해야 합니다.
댓글
댓글 쓰기