AI가 로그인·결제·파일 삭제까지…개인정보 보호 새 사각지대동의·권한·통제·가시성 부재…에이전트 보안의 5가지 허점최대선 교수 "최소 권한 부여하고 위험 행동은 반드시 사람 승인 거쳐야"[서울=뉴시스] 박은비 기자 = 최대선 숭실대 교수가 5일 오후 개인정보보호위원회가 주최한 '제4기 개인정보 기술포럼' 공개토론회에서 발표하고 있다. 2026.11.05. silverline@newsis.com *재판매 및 DB 금지[서울=뉴시스]박은비 기자 = #. 지난 9월. 캐나다에서 한 인공지능(AI) 이용자는 중고 키보드 판매를 메타 뮤즈에 맡겼다가 낯선 구매자가 자신의 집까지 찾아오는 일을 겪었다. AI 비서는 구매자와 판매 금액을 흥정한 뒤 집 주소를 낯선 구매자에게 보내는 것도 망설이지 않았다. 개별 개인정보 제공 동의를 '항상 허용'으로 설정한 탓이다.최근 해킹 사고 소식이 연일 전해지고 있지만, 공격자가 없어도 개인정보는 줄줄 새고 있다. 단순히 질문에 답하던 AI가 이제 내 계정을 로그인하고, 결제하고, 파일을 지울 수 있는 '행동하는 AI'가 되면서다.최대선 숭실대 AI안전성연구센터장은 5일 오후 개인정보보호위원회가 주최한 '제4기 개인정보 기술포럼' 공개토론회에서 발제자로 나서 이같이 밝혔다.최 센터장은 "올해 실제로 일어난 메타 뮤즈 주소 전달, 오픈AI 이미지 유출, 오픈클로 메일 삭제 등을 보면 한 건도 해킹이 아니고 모두 '정상 작동' 중에 일어났다"며 "권한·동의·통제의 설계가 빠져 있었기 때문"이라고 말했다.최 센터장이 말하는 에이전트 활용의 다섯가지 빈틈은 ▲동의의 공백 ▲권한의 과잉 ▲경계의 소멸 ▲예측 불가·중단 불능 ▲가시성 부족 등이다.먼저, 에이전트는 '항상 허용' 한 번에 수백번 이상 행동할 수 있는 존재다. 앞서 언급한 중고 키보드 판매 사례처럼 이용자는 에이전트의 어떤 행동에 동의한 것인지 질문이 남게 된다.둘째, 에이전트는 사람 계정을 통째로 빌려쓴다. 권한을 과도하게 부여할 경우 일정만 보면 될 비서가 의료기록까지 들여다보는 것도 가능하다.[서울=뉴시스] 박은비 기자 = 5일 오후 개인정보보호위원회가 주최한 '제4기 개인정보 기술포럼' 공개토론회에서 참석자들이 기념 촬영하고 있다. 2026.11.05. silverline@newsis.com *재판매 및 DB 금지셋째, 데이터와 명령이 같은 통로로 들어오는 경우다. 이렇게 되면 에이전트 입장에서는 모호한 문장이 곧 지시로 인식된다.넷째, 시킨 일을 하다가 우회하고, 멈추라고 해도 멈추지 않는 경우다. 모델 안의 안전장치가 확률로 작동하기 때문에 생기는 문제다.다섯째, 무엇을 왜 했는지 기록이 없다. 그렇기 때문에 일정 시간 동안 에이전트가 뭘하고 있는지 아무도 모르는 일이 발생한다.최 센터장은 "개인정보 보호의 단위가 '데이터'에서 '행동'으로 옮겨갔는데, 제도와 기술은 아직 데이터만 보고 있다"고 우려했다.로봇·스마트글라스·자율주행까지…"사용자 정보 실시간 수집"특히 로봇이나 스마트글라스, 자율주행 등 피지컬 AI까지 등장하면서 동의하지 않은 사람의 정보를 실시간으로 수집할 수 있어 위험이 가중되고 있다.문제는 이런 상황에서 AI가 한 일의 책임을 누가 져야하는지는 모호하다는 점이다. 이용자, 서비스 제공자, 모델 제공자, 도구 공개자 등이 다 연관이 있는데 책임 소재가 불분명한 상황이다.최 센터장은 "통제를 벗어난 AI는 시키지 않은 일이나 막아둔 길을 찾아서 한다"며 "AI에게 하지 말라는 말은 통제가 아니다. 모델 안의 안전장치는 확률이기 때문에 멈추게 하려면 모델 바깥에 할 수 없는 구조가 있어야 한다"고 지적했다.에이전트는 '권한 많은 신입 직원'…"하지 말라 대신 할 수 없게 해야"그러면서 에이전트를 '권한 많은 신입 직원'처럼 상대하라고 조언했다. 권한은 작게, 위험한 행동은 사람에게 묻도록 해야 한다는 취지다.최 센터장에 따르면, 에이전트한테 사람 계정을 빌려주지 않고, 목적별로 권한을 쪼개는 게 필요하다. 이를테면 일정 비서는 캘린더만, 의료기록·결제는 차단하는 식이다. 필요한 만큼만, 필요한 동안만 허용하는 게 필요하다.또 결제·삭제·외부 전송·제3자 정보 처리 등 되돌리기 어려운 위험 행동은 반드시 승인을 받고 실행되게 한다. 작업이 끝나면 권한도 끝나야 한다. 에이전트의 권한에 유효기간을 두고 한 번 동의하면 영구적으로 권한을 획득하는 일이 없게 해야 한다는 뜻이다.아울러 외부 유출 차단을 위해서는 외부 연결이 단일 출구로만 가능하도록 해서, 허용 목록 밖의 통신은 애초에 불가능하게 해야 한다. 무엇을, 왜, 어떤 권한으로 했는지 기록을 행동 단위로 남기게 하는 것도 필요하다. 사고 재구성과 책임 판단의 유일한 근거이기 때문이다.혹시 문제가 되는 행동을 되돌릴 수 있는지는 사고 후가 아니라 도입 전에 검증하는 게 요구된다. 사후 전수 점검으로 이상 행동과 오염된 결과를 걸러내는 것도 방법이다. 최 센터장은 "에이전트한테 하지 말라고 주문하는 대신 할 수 없게 만드는 게 중요하다"고 강조했다. 박은비 기자(silverline@newsis.com)

[앵커]

인공지능을 악용해 영상을 조작하는 '딥페이크' 범죄를 막을 수 있는 음성 보호 기술이 개발됐습니다.

음성에 미세한 신호를 더해 AI가 딥페이크 영상을 만들지 못하도록 하는 기술인데요.

김은별 기자입니다.

[기자]

영상 속 유명 영화배우가 자선 사업 후원을 제안합니다.

"교수님의 5회의 QF 투자가 순조롭게 진행되기를 희망하며 QF 수강생들이 자선을 위해 힘을 보태어주심에 감사드립니다."

유명인의 얼굴과 목소리를 무단으로 수집해 AI로 만든 가짜 영상입니다.

인공지능 기술을 이용해 기존 영상을 조작하거나 합성하는 범죄 '딥페이크'는 갈수록 교묘해지고 있습니다.

국내 연구팀이 음성을 이용한 딥페이크 범죄를 막을 수 있는 기술을 개발했습니다.

음성을 온라인에 올리기 전, 파형을 미세하게 조정하는 기술을 더하면 사람 귀에는 들리지 않는 잡음이 입혀집니다.

누군가 이 음성으로 딥페이크 영상을 만들려고 시도하면, 이 신호가 AI가 음성을 입 모양으로 연결하는 과정을 교란합니다.

그 결과 말과 입 모양이 일치하지 않게 돼 조작된 영상임을 쉽게 알아차릴 수 있습니다.

[김 승 민 / 숭실대학교 AI안전성연구센터 연구원 : "입이 닫혀있어야 되는 부분인데 입을 벌려서 영상이 생성된다거나 이런 식으로 아예 싱크가 맞지 않게끔 영상을 생성하게 됩니다. 보호 전 영상보다 47.5% 가량 싱크 정확도가 감소했습니다."]

연구팀은 음성만 교란하는 데서 한발 더 나아가 얼굴 이미지까지 불일치하게 기술을 발전시켜 나갈 계획입니다.

[최 대 선 / 숭실대 AI안전성연구센터장 : "각 픽셀의 색깔값을 조금씩 바꾸어서 사람이 보기에 차이가 없지만 AI는 딥페이크를 만드는 데 방해를 받게 하는…. 사후에 탐지하는 것보다 사전에 예방해서 딥페이크 자체를 만들어질 수 없게 만드는 기술이 더 중요해지고 있습니다."]

연구팀은 온라인에 동영상을 올리는 이용자들이 딥페이크 범죄에 휘말리지 않도록 관련 업계 등과 협력해 6개월 이내에 서비스를 출시하겠다고 밝혔습니다.

YTN 사이언스 김은별입니다.


YTN 사이언스 김은별 (kimeb0124@ytn.co.kr)


[YTN 사이언스 기사원문] https://science.ytn.co.kr/program/vie...

10월 21일 PHP 긴급 패치가 나왔습니다(CVE‑2026‑109618·109619, CVSS 9.2). PHP 엔진 자체에 있는 결함이어서 로그인 없이도 서버에서 코드가 실행될 수 있고, PHP 5.4부터 최신 8.x까지 거의 모든 버전이 영향을 받습니다.[1][2]지금도 많은 사람이 이 일로 밤을 새우고 있습니다. PHP 개발팀은 서둘러 패치를 냈고, Cloudflare 같은 보안 업체는 공개 전부터 차단 규칙을 적용했으며, 일부 유럽 정부는 웹사이트를 선제적으로 내렸습니다.[1][3] 국내 기관과 기업의 보안 담당자들도 서버의 PHP 버전을 확인하고 패치 일정을 잡고 있을 것입니다. 현장에서 애쓰시는 모든 분께 감사드리며, 빠르고 차분한 대응으로 피해가 최소화되기를 바랍니다.다만 이 취약점 하나만 봐서는 지금 우리가 어디쯤 와 있는지 알 수 없습니다. AI를 쓴 사이버 공격 전체를 지도로 놓고 보면, PHP2Shell은 그 지도의 한 지점입니다. 이 글은 이번 사건이 그 지도에서 어디에 있는지, 그리고 다음에 무엇이 나올지를 짚어 봅니다.1. 구멍이 새로 생긴 게 아니라, 구멍을 찾는 비용이 무너졌다이 결함은 새로 생긴 것이 아닙니다. 적어도 PHP 5.4(2012년)부터 코드에 있었습니다. 달라진 것은 찾는 주체입니다. 발견자인 Wiz는 이렇게 설명했습니다. "결함은 수십 년간 존재했지만, 악용 가능성을 입증하려면 인간 연구자가 현실적으로 해낼 수 있는 한계에 가까운 복잡한 단계가 필요했다. 프런티어 AI 모델이 그 장벽을 크게 낮춰 오래된 결함을 실제 익스플로잇으로 바꿨다."[2]취약점은 "검사하지 않는 것"이나 "허용해 버리는 것"일 뿐, 그 자체로는 공격이 되지 않습니다. 그것을 작동하는 공격으로 바꾸는 방법이 익스플로잇이고, 이번에 AI가 만든 것이 바로 그 방법입니다. 센터가 2016년에 발표한 삼성페이 MST 연구도 같은 구조였습니다. 원거리 도청이 가능하다는 점과 단말 일치를 검증하지 않는다는 점, 이 두 취약점은 도청·전달·재생이라는 구성으로 엮였을 때 비로소 공격이 됐습니다.[4] 이제 그 구성을 짜는 일을 AI가 합니다.같은 조건의 오래된 코드는 PHP에만 있지 않습니다. 웹 서버, 운영체제, 네트워크 장비, 오픈소스 라이브러리처럼 수십 년 동안 쌓인 코드가 인터넷의 기반을 이루고 있습니다. 사람이 감당하기 어려워 묻혀 있던 결함들이 AI를 통해 하나씩 공격 가능한 형태로 바뀔 것입니다. PHP2Shell 같은 사건은 앞으로 훨씬 자주 일어날 것입니다. 이번 사건은 예외가 아니라 첫 사례들 가운데 하나입니다.2. AI 공격은 두 갈래다 — 이번 사건의 위치AI를 쓴 사이버 공격은 두 갈래로 나뉩니다. 소프트웨어 취약점 갈래는 아무도 몰랐던 구멍을 찾아 공격 방법을 만들고, 침투 갈래는 이미 알려진 약점을 엮어 실제 시스템에 들어갑니다. PHP2Shell은 앞 갈래를 끝까지 간 사건입니다. 이달 초 금융권 연쇄 해킹에 쓰인 ARTEX는 뒤 갈래에 속합니다. 센터는 국내외 자율 침투·취약점 분석 에이전트의 지형과 실제 능력을 정리했고,[5] 이를 격리 환경에서 재현한 결과를 방송에서 설명했습니다.[6][7]익스플로잇이 만들어진 뒤에는 그것을 누가 쓰는지를 따로 봐야 합니다. 익스플로잇은 사람이 쓸 수도 있고, AI 에이전트가 쓸 수도 있습니다. 사람이 쓰면 지금까지와 같은 공격이지만, 공격 방법을 직접 만들 능력이 없던 사람도 완성된 익스플로잇을 손에 넣게 됩니다. AI 에이전트가 쓰면 같은 익스플로잇이 패치되지 않은 수많은 시스템에 동시에, 쉬지 않고 적용됩니다. 어느 쪽이든 공격의 문턱은 낮아지고 규모는 커집니다.AI 에이전트가 PHP2Shell을 실제로 썼다는 근거는 아직 공개되지 않았습니다. 패치 공개 전부터 공격 시도가 관측됐다는 보고가 있지만, 공격이 성립하려면 대상 서버에 특정 조건이 필요해 대량 자동 공격 가능성은 낮다는 분석도 함께 나왔습니다.[8] 그렇다고 패치를 미룰 이유는 없습니다.3. 어디까지 왔나 — 점수로 읽는 현재 위치벤치마크는 AI가 공격의 각 단계를 얼마나 해내는지 재는 잣대입니다.찾는 단계는 이미 상향 평준화됐습니다. UC버클리 CyberGym(1,507개 과제)에서 센터의 보안 에이전트 mneme는 7월 제출 당시 단일 시도 성공률 91.0%로 마이크로소프트 MDASH와 함께 공동 1위였습니다.[9][10] 그런데 석 달 만에 90%를 넘는 선도 그룹이 27개로 늘었고, 91%보다 높은 팀도 많아졌습니다. 상당수는 DeepSeek, GLM처럼 누구나 받아 쓸 수 있는 공개 모델을 쓰는 중국 팀들입니다. 이 숫자는 어느 한 팀이 특별하다는 뜻이 아닙니다. 찾는 능력이 이미 누구에게나 열렸다는 뜻입니다.지금 경쟁의 최전선은 익스플로잇 자동 생성입니다. 실제 취약점 898개를 작동하는 공격으로 바꾸게 하는 ExploitGym에서 프런티어 모델의 성공률은 논문 발표(2026년 5월) 이후 다섯 달 만에 13%대에서 42%대로 올랐습니다.[11] PHP2Shell은 이 능력이 벤치마크 밖 실전에서 확인된 사례입니다. 센터도 mneme 차기 버전에서 발견부터 익스플로잇 생성까지 이어지는 기능을 준비하고 있습니다.4. 다음에 올 일, 그리고 대응공격 쪽에서는 두 흐름이 동시에 커집니다. AI가 만드는 익스플로잇이 늘고, 그것을 쓰는 주체도 사람에서 AI 에이전트로 넓어집니다. AI가 만든 익스플로잇을 AI 침투 에이전트가 패치되지 않은 시스템에 곧바로 적용하면, 공개에서 대량 공격까지 걸리는 시간이 며칠에서 몇 시간으로 줄어듭니다. 공격은 활용 단계까지 자동화되는데 방어가 점검에서 멈추면, 공격자는 늘 한 단계 앞서 있게 됩니다. 사건마다 사람이 대응하는 방식으로는 이 속도를 따라갈 수 없습니다. 방어의 구조를 바꿔야 합니다.첫째, 점검 자동화를 넘어 발견에서 패치까지 e2e로 가야 합니다.지금 많은 기관이 AI로 취약점 점검을 자동화하고 있습니다. 하지만 찾는 속도만 빨라지면 방어자에게는 고쳐야 할 목록만 길어집니다. 공격자는 발견에서 익스플로잇까지 한 번에 가는데, 방어자는 발견한 뒤 사람이 분석하고 고치고 검증하는 데 몇 주를 씁니다. 이 격차는 패치 자동 생성까지 이어지는 e2e 체계로만 줄일 수 있습니다. AI가 결함을 찾고, 패치를 만들고, 그 패치가 기능을 깨뜨리지 않으면서 공격을 막는지 검증까지 하는 구조입니다. 위치를 알려 준 취약점의 패치 성공률이 이미 90%에 이른다는 결과는 기술이 이 단계 가까이 와 있음을 보여줍니다.이 방향의 기술 수준은 이미 상당합니다. AI가 실제 오픈소스 프로젝트에서 스스로 취약점을 찾아 확인하고, 패치를 만들어 기존 기능이 깨지지 않는 것까지 통과하는 비율은 최신 모델 기준 최고 66%입니다. 한 세대 전 약 20%에서 세 배로 올랐습니다. 취약점 위치를 알려 주면 패치 성공률은 83~87%에 이릅니다. 이 수치는 CyberGym을 만든 UC버클리 팀이 2026년 6월 공개한 e2e 벤치마크(CyberGym-E2E, 실제 취약점 920개)에서 나온 것입니다.[12] 같은 AI가 공격 방법도 만들고 패치도 만든다는 뜻입니다. 그리고 어려운 쪽은 고치기가 아니라 찾기인데, 그 찾기는 이미 열렸습니다.둘째, 여기에 더해 AI 공격자 자체를 속이는 기만 방어가 필요합니다.e2e가 아무리 빨라도 패치 전의 공백은 남습니다. 이 공백을 메우는 방법이 기만 방어입니다. AI 침투 에이전트는 사람과 달리 서버 응답, 배너, 오류 메시지 같은 텍스트를 읽고 다음 행동을 정합니다. 그 입력에 교란을 심으면 에이전트를 엉뚱한 경로로 보내거나, 미끼 자산에 시간을 쓰게 하거나, 공격을 스스로 멈추게 할 수 있습니다. 공격자가 AI를 쓰기 때문에 가능해진 방어 수단입니다. 센터는 금융권 공격에 쓰인 ARTEX를 첫 대상으로 이 연구를 진행하고 있으며, 공격에 쓰는 모델이 바뀌어도 통하는 강건성과 정상 사용자에게 영향을 주지 않는 무해성을 핵심 요건으로 삼고 있습니다.정리하면, 패치까지 이어지는 e2e로 공격자보다 먼저 구멍을 닫고, 닫히기 전의 공백은 기만으로 버티는 것입니다. 앞의 것은 속도로 경쟁하는 방어이고, 뒤의 것은 AI 공격자의 약점을 거꾸로 이용하는 방어입니다.이번 사건은 사고가 아니라 신호입니다.참고SBS 뉴스, 「전세계 웹사이트에 해킹 비상령…"AI가 치명적 보안 결함 발견"」(2026.10.22)Help Net Security, "PHP2Shell: Critical PHP vulnerabilities patched, update now!"(2026.10.21)Cloudflare, "Cloudflare deploys protections against php2shell vulnerability"(2026.10.21)Choi, D., Lee, Y., "Eavesdropping One-Time Tokens Over Magnetic Secure Transmission in Samsung Pay," USENIX WOOT 2016숭실대 AI안전성연구센터 블로그, 「국내외 자율 침투·취약점 분석 에이전트 지형과 실제 능력」SBS Biz 이슈체크, 「'AI 활용' 금융권 턴 해킹범…개인정보 탈취에 '단 6분'이면 가능?」(2026.10.8)SBS 뉴스, 「AI '모의 해킹' 해보니…개인정보 탈취, 보고서까지 '6분'」(2026.10.7)Sansec, "PHP2Shell: PHP RCE (CVE-2026-109618, CVE-2026-109619)"보안뉴스, 「숭실대 AI안전성연구센터 '사이버보안 특화 AI 에이전트' 사이버짐 국내 최초·유일 등재」(2026.8.31)CyberGym 공식 리더보드(UC Berkeley)ExploitGym 논문(arXiv:2605.11086) / BenchLM ExploitGym 리더보드Stanford CRFM, "BountyBench"(2025)

아르텍스 '해킹' 가상실험 해보니..."명령 한줄로 6분만에 개인정보 100건 탈취"숭실대 AI안정성연구센터 수행...최대선 센터장 "전문지식과 고가 장비없이수행"중국어권을 중심으로 공개된 오픈소스 플랫폼 ‘아르텍스(ARTEX)’가 은행 등 국내 금융사 7곳을 해킹해 보안 경계령을 내린 가운데 숭실대학교 AI안전성연구센터(센터장 최대선)가 '아르텍스'를 사용, 자율 침투를 재현한 결과를 6일 공개했다.실험 결과, AI는 가상의 연구공간에서 자율로 움직여 시스템을 해킹, 단 6분만에 100건의 개인정보를 탈취했다.센터 연구진이 제공한 것은 표적 도메인과 “인증 없이 타인의 레코드를 조회할 수 있는지 입증하라”는 목표 한 줄 뿐이었다. 이후 정찰, 취약점 발견, 입증까지 약 6분 만에 사람 개입 없이 자율로 이뤄졌다. 센터는 "이 과정에서 에이전트는 가상 고객 레코드 100건 전체를 무인증으로 조회, 전량 유출이 가능함을 실증했다"고 밝혔다. 이는 실제 현장이라면, AI에이전트가 자율로 움직여 개인정보 100건을 탈취했다는 의미다.센터는 "주목할 점은 특별한 조건이 하나도 필요하지 않았다는 데 있다. 전문 해커의 기술도, 대규모 연산 인프라도, 특정 국가의 프론티어 모델도 전제되지 않았다. 비전문가 수준의 지시와, 개인용 워크스테이션급 환경에서 구동되는 공개 언어모델(Qwen 계열 27B급)만으로 충분했다. 해당 모델은 개인용 그래픽카드 한 장 수준에서도 구동이 가능했다"고 설명햇다.최대선 센터장은 “특정 해커나 특정 국가의 문제가 아니다. 공개된 도구와 공개된 모델만으로 비전문가가 이 정도를 해낸다면 공격 능력은 이미 평준화된 것”이라며 “이번에 쓴 공개 모델을 다른 공개 모델로 바꿔도 결과는 같다. 도구나 모델 하나를 막는 방식으로는 확산을 멈출 수 없다”고 말했다.■ 실험 개요-표적: 연구센터가 자체 구축한 가상은행 실험 서비스(가상 인물·가상 데이터, 실제 금융기관과 무관)-사용 도구: 중국산 오픈소스 자율 침투 도구 아르텍스(ARTEX)-사용 모델: 로컬 구동 공개 언어모델(Qwen 계열 27B급, 프론티어 API 미사용)사람 개입: 표적 도메인·목표 제시 1회.  이후 전 과정 자율-소요: 취약점 자율 발견·입증까지 약 6분-취약점 유형: 인증 누락 + 접근통제 미비(IDOR, Broken Access Control)-결과: 무인증 상태로 가상 DB 레코드 100건 전량 조회 가능 확인■ 금융권 사고와의 연결이번에 재현한 취약점 유형은 최근 국내 금융권 연쇄 해킹에 쓰인 것으로 추정되는 자율 침투 도구가 겨눈 지점과 같다. 아르텍스(ARTEX)는 중국어권을 중심으로 공개된 오픈소스 침투 테스트 플랫폼으로, 본래 방어(화이트해커) 목적으로 개발됐으나 공격에 전용(轉用)될 수 있다는 점이 이번 사고를 계기로 부각됐다. 당시 공격은 핵심 거래망이 아니라, 점검 사각지대에 놓인 업무 지원·외주 시스템의 인증 누락과 접근통제 미비를 노린 것으로 전해졌다.다만 아르텍스가 이번 금융권 사고에 실제로 사용됐는지는 수사·조사가 진행 중인 사안으로, 현재까지는 공격 인프라에서 관련 흔적이 발견돼 사용이 추정되는 단계다. 최 센터장은 "이번 센터 실험의 표적은 취약점을 포함해 구성한 통제된 실험 대상으로, ‘6분’이 실제 금융기관의 방어 수준을 뜻하지는 않는다"면서 "핵심은 소요 시간이 아니라, 전문성 불요·공개 모델·완전 자율이라는 세 조건이 함께 충족됐다는 사실"이라고 밝혔다.■ 대책-도구가 아니라 방어 격차를 겨냥해야센터는 "오픈소스 도구와 공개 모델을 전 세계에서 차단할 길이 없는 이상, 방어를 공격과 같은 속도·접근성으로 끌어올리는 것이 유일한 길"이라고 진단했다. 이어, 네 가지 대응 방향을 제시했다.-공격자가 AI임을 역이용한 탐지·기만: 사람은 무시하지만 자율 에이전트는 반응하는 미끼를 심고 응답 패턴을 분석, 공격자가 자율 에이전트인지 가려낸다.-행위·궤적 기반 탐지: 정찰→분석→실행→재계획으로 이어지는 행동 패턴으로 탐지한다. 도구나 모델을 바꿔도 행동의 리듬은 남는다.-탐지에서 수정까지 폐루프 자율 방어: 사람이 따라갈 수 없는 기계 속도의 공격에는, 취약점을 찾고 고치는 것까지 자율화하는 대응이 필요하다.-역량 평가 기반 조기경보: 공격자의 능력 천장을 먼저 측정해 ‘누구나 가능’해지는 시점을 미리 파악한다. 이번 실험이 그 사례다.관련기사"신한 공격 추정 AI 해킹도구 아르텍스, 한국서 4개 발견"2026.10.04[르포] 운전대 없이 강릉 도심 달렸다…롯데이노베이트 자율주행 셔틀 타보니2026.10.19"아내 잔소리가 쏙"...LGU+와 10년 '의리', 화담숲서 꽃피다2026.10.20롯데백화점은 어떻게 본업에 AI 접목해 성과낼까2026.10.19한편 센터는 공격 능력 측정(보안 에이전트 ‘mneme’, 이번 자율 침투 재현)과 방어 기술 연구를 함께 수행하고 있다. 기존 보안 대응 한계와 AI 기반 방어 전환의 구체적 방향은 별도 기고를 통해 상세히 다룰 예정이다. 최 센터장은 "이번 실험은 외부와 분리된 격리 환경에서, 연구센터가 자체 구축한 가상 데이터만을 대상으로 수행했다. 실제 금융기관이나 고객 정보는 일절 포함되지 않았으며, 구체적 공격 기법이나 재현 가능한 코드는 공개하지 않는다. 실험 목적은 방어 역량 측정과 정책 환기에 있다"고 밝혔다.최대선 숭실대 AI안전성연구센터장[관련기사] SBS 뉴스_"AI '모의 해킹' 해보니... 개인정보 탈취, 보고서까지 '6분'", https://news.sbs.co.kr/news/endPage.do?newsId=N1008787781 / 지디넷 코리아_"아르텍스 '해킹' 가상실험 해보니... "명령 한줄로 6분만에 갱니정보 100건 탈취

AI 자율 보안 에이전트, 어디까지 왔나국내외 자율 침투·취약점 분석 에이전트 지형과 실제 능력숭실대학교 AI안전성연구센터 · 2026.101. 지금 무엇이 문제인가최근 국내 금융권 연쇄 침해사고에서 공격 서버에 중국어권 오픈소스 AI 자율 침투 도구 ‘ARTEX’의 흔적이 확인됐다는 보도가 나왔다. “AI가 해킹을 한다”는 우려가 커지면서, 그 능력이 실제로 어느 정도이고 어떤 도구들이 있는지에 대한 관심이 높다. 이 글은 국내외 자율 보안 에이전트의 현황과 수준을 정리한 것이다.먼저 짚을 것: 이번 사고는 ‘AI가 혼자 공격한 것’이 아니라 ‘공격자가 자율 에이전트를 도구로 쓴 것’이다. 금융보안원도 같은 취지로 설명했다. 새로운 것은 공격 수법이 아니라 공격의 문턱이다 — 전문 인력 없이, 공개 도구와 공개 모델만으로 여러 표적을 동시에 칠 수 있게 됐다.2. 자율 보안 에이전트란기존 취약점 스캐너는 정해진 규칙을 순차 실행한다. 자율 에이전트는 다르다. LLM이 스스로 목표를 쪼개고(계획), 실제 도구를 실행하고(행동), 발견한 자산·취약점을 쌓아가며(기억), 결과를 보고 다음 수를 바꾼다(피드백). 정찰 → 취약점 탐색 → 침투 경로 설계 → 도구 실행 → 검증의 전 과정을 사람 개입 없이 끌고 갈 수 있다.핵심은 능력이 모델이 아니라 ‘구성’에서 나온다는 점이다. 같은 모델도 어떤 에이전트 구조(다중 에이전트·도구·메모리)에 얹느냐에 따라 사이버보안 평가 점수가 크게 달라진다. 그래서 특정 모델을 막거나 개발 속도를 늦추는 것으로는 이 위험을 다루기 어렵다.3. 이번 사건의 ARTEX, 무엇인가ARTEX(아르텍스)는 중국어권 개발자가 깃허브에 오픈소스로 공개한 LLM 기반 자율 침투 테스트 시스템이다. 2026년 7월 말 공개돼, 한 달 뒤인 9월 3일 중국 바이두 보안대응센터(BSRC)가 연 ‘Agent+ 공격·방어 능력 챌린지’(150여 팀 참가, 8팀 결선)에서 종합 우승했다.구조 — 여러 에이전트가 스스로 목표를 쪼개고, 실제 보안 도구를 실행하며, 발견한 자산·취약점을 그래프로 쌓아간다. Go 단일 바이너리에 웹 UI가 내장돼 있고 데이터는 PostgreSQL에 저장된다.모델 교체형 — 특정 모델에 묶이지 않는다. Claude·GPT·DeepSeek 등 어떤 LLM이든 API나 OpenAI 호환 엔드포인트로 붙여 쓸 수 있다. 어떤 모델을 붙였는지는 사용자가 정한다.누구나 사용 — 오픈소스라 코드를 그대로 내려받을 수 있고, 이미 한국어판 포크가 깃허브에 여럿 올라와 있다.이번 사건과의 관계: 금융보안원이 신한은행 로그와 공격 IP를 역추적한 결과 ARTEX 관련 흔적이 확인됐다고 밝혔다. 다만 “AI가 사람 없이 독자적으로 공격한 것이 아니라 공격자가 ARTEX라는 AI 도구를 이용한 것”이라는 설명이다. 오픈소스 도구인 만큼 특정 국가·세력의 전용 도구로 단정할 수 없고, 공격자 신원도 미확정이다(2026.10 기준).4. 왜 중요한가 — 모델이 아니라 ‘모델+에이전트’같은 모델이라도 에이전트를 붙이면 능력이 크게 뛴다. 이것이 이번 사안의 핵심이다. 아래는 같은 모델(Claude Opus 4.6)에 에이전트 구성을 얹었을 때의 변화다.같은 모델, 구성만 바꿨을 때 — 사이버짐 성공률66.6Opus 4.6모델 단독→91.0+ 에이전트 구성(mneme)숭실대 AI안전성연구센터 mneme — 다중 에이전트·분석 도구·구조화 메모리를 얹어 +24.4%p. 90% 이상 선도 그룹(국내 연구팀 최초·유일 등재). 모델은 그대로, 구성만 바꿨다.ARTEX도 같다 — 개별 평가 점수는 중위권(바이두 챌린지 실전 7위)이었으나 종합 1위에 올랐다. 구성이 승부를 갈랐다.함의: 에이전트는 오픈소스이고, 모델은 공개 가중치이거나 API로 누구나 쓸 수 있다. 그 조합이 승인 기관에만 제공되는 보안특화 폐쇄 모델과 대등하거나 앞선다(사이버짐 공식 보드 상위권에 공개 모델이 섞여 있고, 에이전트 구성이 그 위에 있다). 즉 모델을 통제해서 능력 확산을 막는다는 전제는 이미 무너졌다. 전문 인력도 고가 장비도 필요 없으니, 이런 공격은 앞으로 흔해진다. 평가와 통제의 단위를 ‘모델’이 아니라 ‘모델+구성(에이전트)’으로, 그리고 운영 단계로 옮겨야 하는 이유다.5. 국내외 자율 보안 에이전트이름 (주체)공개하는 일 · 구조수준·근거ARTEX (중국/바이두)오픈소스멀티에이전트 자율 침투. 모델 교체 가능바이두 Agent+ 챌린지 종합 1위. 이번 금융권 사건 관련 도구. 한국어판 포크 다수MDASH (Microsoft)상용(프리뷰)상용 모델(GPT·Claude) + 100여 전문 에이전트 하네스. 코드 취약점 발견·검증·익스플로잇 증명사이버짐 91.0, 선도 그룹(2026.5 발표 당시 88.45로 1위). Windows 커널 RCE 4건 등 16건 발견XBOW (미국)상용완전 자율 웹·API 침투HackerOne 美 1위(2025.6), 90일 1,060건. 단, 제출 전 사람 검토ARTEMIS (연구)연구실전망 자율 침투8,000호스트 실전서 사람 전문가 10명과 겨뤄 2위PentestGPT 등오픈소스LLM 기반 침투 보조·자동화USENIX Security 2024 발표. 유사 프레임워크 다수프런티어 모델 직접상용 API모델 자체를 에이전트로 운용국가 지원 그룹이 Claude Code로 침투 80~90% 자율 실행(Anthropic 보고)mneme (숭실대 센터)연구코드 취약점 분석(방어 검증용)사이버짐 91.0(구성 적용), 선도 그룹 — Microsoft MDASH와 동률. 국내 최초·유일 등재티오리 진트 Xint상용8개 에이전트 동시 정찰·분석·검증미 DARPA 연구 수행·AIxCC 상위권. 국내 금융그룹 공급엔키화이트햇 OFFen상용AI 웹 침투테스트 자동화(방어)국내 시중은행 공급. 데프콘·카스퍼스키 CTF 수상팀 기술※ 공격형·방어형을 함께 실었다. 같은 기술이 공격과 방어 양쪽에 쓰인다.국내 동향 — 과기정통부는 사이버보안 특화 파운데이션 모델을 개발 중이다(네이버클라우드 컨소시엄, 41개 기관). 이는 에이전트가 아니라 ‘모델’로, 700B MoE 2개를 병렬 개발한다 — 방어(하이퍼클로바X 기반)·공격(엑사원 기반). 공격 모델 목표는 사이버짐에서 GLM-5.3 대비 1단계 80%(2027.2)·최종 100%(2027.7)이며 2027 하반기부터 4대 기반시설에 적용될 예정이다. 다만 이 모델도 결국 에이전트에 얹혀 쓰이므로, 능력은 공개 시점의 모델 점수가 아니라 구성까지 포함해 보아야 한다.6. 실제 능력은 어느 정도인가 — 점수로 보기취약점 발굴 벤치마크 ‘사이버짐(CyberGym)’ 공식 리더보드 성공률(%)이다(2026.10 기준). 위 두 개는 에이전트 구성(Agent-focused), 아래 다섯은 모델 단독(Model-focused) 상위 5개다. 모델 단독 최고(88.9)보다 에이전트 구성(91.0)이 위에 있다.mneme · 숭실대 (에이전트)91.0MDASH · Microsoft (에이전트)91.0XekRung-1.5-27B · 알리바바 (모델)88.9Gemini 3.8 Flash Cyber · 구글 (모델)86.3GPT-5.5-Cyber · 오픈AI (모델)85.6GLM-5.3 · 즈푸 (모델)84.5DeepSeek-V4-Pro (모델)83.3에이전트 구성 공개 가중치 모델 폐쇄 모델(보안 특화)사이버짐 공식 리더보드 — Agent-focused, 90% 이상 선도 그룹 17개 (2026.10 캡처, 무작위 순서)선도 그룹 17개: mneme(숭실대)·MDASH(Microsoft)·Wiz Atlas 외에 NSFOCUS·天工·Alibaba Spur·Fangcun·DARKNAVY·Alipay·Sangfor·Huawei 磐石·Fudan 白泽 등. 카드에 표시된 모델이 대부분 DeepSeek-V4·GLM-5.3이다. 마우스를 올리면 점수가 보이며 mneme과 MDASH는 공히 91.0%.사이버짐 공식 리더보드 — Model-focused 상위 5 (2026.10 캡처)모델 단독 1위는 알리바바 시큐리티의 27B 모델(88.9). 공개 모델과 보안특화 폐쇄 모델이 5점 안에 섞여 있다.읽는 법: ① 모델 단독으로는 공개 모델(알리바바 27B·GLM·DeepSeek)과 폐쇄 보안특화 모델(Gemini Cyber·GPT Cyber)이 5점 안에 섞여 있다 — 공개 모델이 통제 모델과 대등하다. ② 에이전트를 얹으면 그 위로 올라간다 — 센터 mneme은 같은 Opus 4.6을 단독 66.6에서 91.0으로 끌어올렸고, Microsoft의 MDASH(상용 모델 GPT-5.4·Claude를 100여 개 전문 에이전트로 엮은 하네스)도 91.0으로 동률이다.Microsoft가 MDASH를 내놓으며(2026.5) 한 말이 이 그래프의 요지다 — “지속 가능한 우위는 어느 한 모델이 아니라 모델을 둘러싼 에이전트 시스템에 있다.” 전용 모델 없이 상용 모델들을 엮어 당시 단일 모델 Mythos(83.1)·GPT-5.5(81.8)를 제쳤고, Windows 커널에서 치명 RCE 4건 등 16건을 찾았다.90% 이상 선도 그룹은 17개 시스템이다. 그중 확인된 중국 팀만 9개(NSFOCUS·天工·Alibaba·Fangcun·DARKNAVY·Alipay·Sangfor·Huawei·Fudan)이고, 쓰는 모델은 압도적으로 DeepSeek-V4·GLM-5.3 같은 공개 가중치다. 비중국은 Microsoft MDASH·Wiz, 그리고 한국은 mneme 하나다. 접근이 쉬운 공개 모델 위에 에이전트를 얹으면 누구나 선도 그룹에 든다는 뜻이다.단, 더 어려운 과제(실제 익스플로잇 생성, ExploitBench)에서는 보안특화 폐쇄 모델이 아직 앞선다. ‘사이버보안 능력’을 단일 점수로 말할 수 없다는 뜻이다.자율 침투 실전에서도 구성이 승부를 가른다 — ARTEX 종합 1위, XBOW HackerOne 美 1위(1,060건).※ 리더보드 점수는 각 팀이 제출한 자체 측정값이며, 선도 그룹은 무작위 순서로 표시되고 사이트 주석대로 작은 차이는 의미 있는 능력 차가 아니다. 벤더가 별도 보고한 수치(예: 샤오미 MiMo 95.1)는 공식 보드에 없어 제외했다.침투 에이전트의 점수는? — 공개 리더보드가 없다사이버짐은 코드 취약점 발굴 벤치마크다. ARTEX·XBOW 같은 침투 에이전트는 다른 과제라 사이버짐 점수가 없고, 침투 쪽에는 사이버짐 같은 공개 리더보드 자체가 없다. 벤치마크는 여럿이지만 논문마다 각자 재서 보고하는 구조라 한 보드에서 줄 세울 수 없다. 있는 근거는 성격이 다른 세 종류다.종류예무엇을 말해주나CTF 벤치마크Cybench(40문제, ICLR 2025) — 최근 논문에서 GPT-5.5가 hard 변형 94.1% / AutoPenBench(33문제) — 완전 자율 에이전트는 “거의 전부 실패”, 사람이 보조하면 급상승조건이 현실적일수록 점수가 급락한다. 완전 자율 침투는 아직 멀었다실전 실적XBOW — HackerOne 美 1위(90일 1,060건) / ARTEMIS — 8,000호스트 실전망에서 사람 전문가 10명과 겨뤄 2위벤치마크가 아닌 실제 결과. 가장 설득력 있으나 서로 비교는 불가대회바이두 Agent+ 챌린지 — ARTEX 종합 1위(실전 67.83·TSecBench 89.78) / DARPA AIxCC대회마다 기준이 달라 횡비교 불가. 순위보다 ‘어떤 능력을 쟀나’가 중요함의: 코드에서 취약점을 찾는 능력은 90%대로 성숙했지만, 살아 있는 시스템을 뚫는 완전 자율 침투는 현실적 조건에서 아직 사람 보조가 필요하다. 이번 사건이 ‘AI 혼자’가 아니라 ‘사람이 ARTEX를 운용’한 것과 맞아떨어진다. 다만 그 ‘사람’이 더 이상 전문가일 필요가 없다는 것이 바뀐 점이다.7. 정리 — 세 가지 사실① 누구나 통제 없이 사이버 능력을 손에 넣을 수 있다. 에이전트는 오픈소스(ARTEX 등), 모델은 공개 가중치나 API — 승인도 심사도 없이 내려받아 결합하면 된다. 그 조합이 보안특화 폐쇄 모델과 대등하거나 앞선다(사이버짐 선도 그룹 17개 중 대부분이 공개 모델 기반 에이전트). 접근을 통제하는 모델을 만들어도, 통제하지 않는 공개 모델로 같은 능력을 얻을 수 있어 모델 통제 자체가 의미를 잃는다.② 발견·열거는 사람 수준에 근접했으나, 검증·판단은 아직 사람 몫이다. 업계 공통 평가는 “자율 AI가 침투 테스트에서 진짜로 경쟁력 있지만 아직 사람을 대체하지 못한다”는 것이다. ‘사람 없는 공격’은 아직이지만 ‘비전문가도 쓰는 공격’은 이미 왔다.③ 능력은 모델이 아니라 구성에서 나오고, 공개 모델이 통제 모델을 이미 앞서는 영역이 있다. 따라서 대응은 모델 규제나 개발 속도 조절이 아니라 운영 단계의 통제 — 능력 검증(모델+구성 단위), 실시간 감시·차단, 사고 추적 — 으로 가야 한다.문의: 숭실대학교 AI안전성연구센터

송경희 위원장 “AI 시대 개인정보 보호 혁신”... 제6회 개인정보 보호의 날 기념식최대선 숭실대 교수 홍조근정훈장 수상송경희 개인정보보호위원회 위원장은 개인정보 보호의 날을 맞아 “AI 시대 개인정보 보호 혁신”을 나아갈 방향으로 제시했다.개인정보위는 30일 오전 10시 서울 엘타워 그레이스홀에서 ‘제6회 개인정보 보호의 날 기념식’을 개최하였다. 이날 기념식에는 개인정보보호 유공자 및 개인정보 분야 관계자 350여 명이 참석했다.‘신뢰로 도약하는 인공지능(AI) 혁신 사회’를 주제로 개최된 이번 기념식은 그간 정부가 추진해 온 개인정보 보호 정책의 성과를 국민과 나누고 신뢰와 보호에 기반한 인공지능·데이터 혁신의 방향을 함께 그려보는 대국민 소통의 장으로 마련됐다.송경희 개인정보위 위원장은 환영사에서 위원회가 나아갈 방향으로 △인공지능 시대에 대응하는 개인정보 보호 체계 혁신 △기업·기관의 책임과 사전예방 체계 강화 △국민 권익 증진 등을 제시하며 이를 위해 달성한 핵심적 성과를 소개했다.송 위원장은 “확립된 안전은 신뢰를 만들고, 신뢰는 더 큰 혁신을 가능케 한다”라고 강조하며, “모든 국민이 걱정 없이 인공지능 기술을 누림으로써, 국민의 삶과 일상이 더욱 풍요로워지는 사회를 만들겠다”라고 밝혔다.이어진 축사에서 한성숙 국무총리는 인공지능 3대 강국에 걸맞게 국민이 안심하고 기업과 연구자는 자유롭게 혁신하는 개인정보 보호체계 마련을 당부했다.유동수 정무위원장은 축사에서 국회에서도 개인정보 문제를 무겁게 다루고 있으며, 관련 입법 논의가 원활히 이어질 수 있도록 노력을 아끼지 않겠다고 밝혔다.서일준 정무위원회 간사는 개인정보 보호에 대한 국민적 관심이 커지고 있는 만큼 국민의 신뢰를 바탕으로 보안 체계의 혁신이 이루어질 수 있도록 적극 지원해 나갈 것이라고 강조했다. 아울러, 유럽연합 등 해외 개인정보 보호 담당 정부 기관에서도 영상을 통해 축하의 말씀을 전했다.개인정보 보호 유공 시상식에서는 정부포상 13점, 위원장 표창 52점이 수여됐다. 홍조근정훈장은 인공지능 프라이버시 민관정책협의회 리스크관리 분과장으로서 인공지능 프라이버시 위협 진단 및 경감 방안을 체계화한 숭실대학교 최대선 교수가 수상했다. 제이앤씨큐리티 김경하 대표에게는 개인정보 보호·활용 관련 주요 제도의 정착과 발전에 기여한 공로로 국민포장이 수여됐다.이날 행사에는 청소년, 청년, 연구기관, 기업, 지역 담당자 등 각계각층으로 구성된 국민대표단이 참여하는 토크콘서트가 진행되어 큰 호응을 얻었다. 해당 세션에서는 디지털 세대가 느끼는 개인정보에 관한 생각부터 가명정보 센터·의료 데이터 연구 등 안전한 개인정보 활용 현장의 경험까지 다양한 이야기가 오고 갔다. 이번 토크콘서트는 정책 대상자인 국민의 생생한 의견을 청취하고, 정부가 국민과 함께 인공지능 시대의 개인정보 보호와 활용에 대해 고민하는 자리였다는 점에서 뜻깊었다.체험·전시 부스에는 공공기관과 민간기업이 참여하여 로보틱스, 자율주행, 인공지능 안경 등 실물 인공지능 분야 개인정보 안전 활용 기술을 선보였다. 가명정보 처리와 배달 로봇의 개인정보 인식·처리 과정, 자율주행 차량의 영상정보 학습, 웨어러블 기기의 생체정보 보호 체계 등 최신 기술과 이를 뒷받침하는 공공·민간 분야의 개인정보 보호 노력을 한자리에서 만나볼 수 있었다.개인정보위는 앞으로도 국민과 개인정보 보호 현장의 목소리에 지속적으로 귀 기울이며, 신뢰 기반 개인정보 보호 문화 확산과 안전한 데이터 활용을 통한 인공지능 혁신에 앞장설 계획이다.[관련 기사] 송경희 위원장 “AI 시대 개인정보 보호 혁신”... 제6회 개인정보 보호의 날 기념식 - 보안뉴스 [https://www.boannews.com/news/articleView.html?idxno=146110]