AI 안전성 연구센터(센터장 최대선, 숭실대학교 소프트웨어학부 교수)는 2024년 12월 09일 숭실대학교 전산관에서 'AI 안전성 연구 센터 세미나'를 개최하고 엔키화이트햇과의 연구협력(MOU)을 체결했다. 세미나에는 온라인과 오프라인으로 약 50명가량이 참석했다.세미나는 최경진 한국인공지능 법학회 회장의 '글로벌 AI규제 동향' 관련 발표로 시작되었다.   최경진 회장은 AI 규제 입법에 있어 “국내 AI 경쟁력을 확보하고 AI 리더 그룹과 협업하며, 국제 거버넌스에 적극 참여하고, 신뢰할 수 있는 AI 프레임워크를 개발하는 노력이 모두 어우러져야 한다”고 말했다. 그는 이를 위해서 “글로벌 동향을 면밀히 분석해야 한다”고 강조하며 발표를 마쳤다.   이어 최대선 센터장이 ‘AI 안전성 이슈와 전망’에 대해 발표했다. 최대선 센터장은 "AI 안전성 이슈는 크게 4가지 '△AI에 대한 적대적 공격 △AI 악용 △통제력 상실 △국가 안보 위협(CIB)'로 나눌 수 있다"고 말했다. 이로 인한 문제 발생을 최소화 할 수 있는 방안으로 AI 사용제한, 통제 가능한 설계 원칙 적용, 지속적인 모니터링 및 업데이트 등을 제시하며 "AI 위협에 대한 기술적인 대응은 결국 '창과 방패의 대결'로 공격을 완전히 막을 수는 없으나, 최소화하도록 막는 것이 목표"라고 강조했다. 그는 “AI 안전성 연구센터가 AI 위험관리 연구, 국방 AI 적대적 공격 대응 연구, AI 신뢰성 제고 연구를 활발히 해오고 있으며, 지난달 27일 AI 안전컨소시엄 참여를 위한 업무협약(을 체결했다"고 덧붙였다. 이를 통해 "AI 안전성 연구센터는 빠르게 변화해가는 AI 안전성에 대한 주제, 정책, 법률 등에 대해 지속적인 토론과 연구를 추진하겠다"며 세미나를 마무리했다.

[숭실대학교 AI 안전성 연구센터 세미나 안내]일시 : 2024년 12월 9일(월) 오후 4시장소 : 숭실대학교 전산관 1층 다솜홀진행방식 : 온오프라인 병행프로그램 : 16:00~16:30 : 글로벌 AI 규제 동향발표자 : 가천대학교 최경진 교수(한국인공지능 법학회 회장)16:30~17:00 : AI 안전성 이슈와 전망발표자 : 숭실대학교 최대선 교수(AI 안전성 연구센터장)17:00~17:10 : 연구협력 MOU 체결참여자 : 숭실대학교 AI 안전성 연구센터장 최대선 교수, 엔키화이트햇 대표이사 이성권참가신청 링크 : AI 안전성 연구센터 세미나(온오프라인)

숭실대학교 소프트웨어학부 최대선 교수는 11월 27일 서울에서 열린 ‘2024년 사이버보안 정책 포럼’에서 주제 발표와 패널 토론을 통해 생성형 AI와 디지털 신기술로 인한 사이버보안 위협 및 대응 방안에 대해 논의하였다. 이번 포럼은 AI와 디지털 기술 발전으로 인한 사이버 위협에 대응하기 위해 산·학·연·관이 협력하는 자리로, AI 안전성과 사이버보안의 미래 방향성을 제시하며 큰 주목을 받았다.최대선 교수는 이번 포럼 주제 발표에서 AI의 안전성 문제를 중심으로 사이버 공격과 방어의 균형을 강조했고, 토론에서는 신원 확인 시스템과 AI 통제력 문제에 대해 구체적인 해결 방안을 제안했다. 최대선 교수는 주제 발표에서 “AI의 악의적 사용, 적대적 공격, 통제력 상실 등은 국가 안보와 디지털 사회 전반에 심각한 위협이 될 수 있다”며, 대응 방안으로 ▲입력된 프롬프트(명령어)의 유해성을 평가해 사전 탐지 ▲생성된 콘텐츠의 유해성을 검열하는 사후 평가 ▲AI 시스템에 긴급 중지 기능 내장 ▲위험성이 높은 학습 내용을 제거한 설계 원칙 적용 등을 제안했다. 이어 “AI 위협은 ‘창과 방패의 대결’과 같아 공격 자체를 완전히 막을 수는 없지만, 피해를 줄이는 것이 목표”라고 강조했다.이어진 패널 토론에서는 ‘디지털 신기술 위협과 사이버 보안의 나아갈 방향’을 주제로 논의가 진행됐다. 최대선 교수는 “올해는 알뜰폰 비대면 본인확인 개통 사고로 인해 비대면 본인확인의 근간이 흔들린 해였다”며, “신원 확인을 뚫는 문제 중 가장 큰 위협은 트러스트 앵커(Trust Anchor)로, 이에 대한 경각심이 필요하다”고 언급했다. 이어 “신분증 사진만으로도 멀티 팩터 인증이 가능해지는 만큼, 전자신분증의 확산과 이를 뒷받침할 보안 강화가 중요한 과제”라고 덧붙였다.숭실대학교는 최근 최대선 교수가 센터장으로 이끄는 ‘AI 안전성 연구센터’를 설립하여 관련 연구를 강화하고 있으며, LG유플러스와 협력해 사이버보안학과를 신설했다. 최대선 교수는 “인재 양성을 위해 단기 교류 프로그램과 체험 프로그램, 보안 관련 자격증 활성화, 인증 프로그램 운영이 필요하다”며 “학생들이 보안 인재의 중요성을 인식하도록 지속적인 노력이 이어져야 한다”고 말했다.또한, 최대선 교수는 “AI와 같은 디지털 신기술의 위협이 커지고 있는 만큼, 정부는 AI 악용 가능성과 통제력 상실에 대응하기 위한 더 큰 규모의 전담 조직 설립을 검토해야 한다”고 제안했다.[관련기사] “‘창과 방패의 대결’ 사이버보안, 정부 주도 기술 확보 필요” - 조선비즈생성형 AI가 촉발한 사이버 위협 확산, 어떻게 대응해야 할까 - 보안뉴스

 AI 안전성 연구센터(센터장 최대선, 숭실대학교 소프트웨어학부 교수)는 2024년 11월 27일 판교 글로벌 R&D센터에서 열린 AI 안전연구소 개소식에 참석해 대한민국 AI 안전컨소시엄 참여를 위한 업무협약(MOU)을 체결했다.   AI안전연구소(AISI)는 AI 기술의 발전과 함께 커지는 AI 오용, 통제력 상실 등 다양한 위험성에 대응하기 위해 설립된 연구소로, 대한민국의 AI 안전 연구와 정책 개발을 총괄하는 중요한 허브로서의 역할을 수행할 예정이다. AI 안전성 연구센터는 이러한 연구소 개소와 함께 대한민국 AI안전컨소시엄에 주요 참여 기관으로 합류하여, AI 안전성을 위한 연구 협력과 정책 개발을 추진하게 되었다.   이번 개소식에는 유상임 과학기술정보통신부 장관, 류광준 과기정통부 과기혁신본부장, 염재호 국가AI위원회 부위원장, 이경우 대통령실 AI·디지털 비서관 등 정부 주요 인사와 오승필 KT CTO, 최대선 숭실대 AI 안전성 연구센터장, 오혜연 카이스트 AI연구원장, 방승찬 ETRI 원장을 비롯한 AI분야 산·학·연 관계자 40여 명이 참석해 AI 안전성 확보를 위한 협력 의지를 다졌다.   유상임 과기정통부 장관은 축사에서 "AI 안전은 AI 기술 발전의 필수 전제이며, 우리 모두가 함께 해결해 나가야 할 중요한 도전 과제"라며, "AI안전연구소와 산학연의 협력으로 대한민국을 AI 안전 연구의 글로벌 허브로 성장시키겠다"고 강조했다.AI 안전성 연구센터는 이번 대한민국 AI안전컨소시엄에 산·학·연의 주요 기관들과 함께 참여하여 AI 안전 프레임워크(위험 식별·평가·완화) 연구 및 실증, AI 안전 관련 정책 연구, 국제 규범 대응 등의 활동을 본격적으로 추진할 예정이다. 특히 컨소시엄에는 네이버, KT, 카카오, LG AI연구원 등 주요 산업계와 숭실대, 서울대, 카이스트, 고려대 등 학계, 그리고 TTA, NIA 등의 연구기관이 참여하고 있으며, AI 기술의 안전성 강화를 위한 폭넓은 협력을 이어가고 있다.   한편, AI 안전성 연구센터는 숭실대학교의 여러 연구실과 함께 연세대, 성균관대 등 국내 주요 대학 연구실, 법제도 전문가 및 산업계 전문가들과 협력하여 다학제적인 접근을 통한 AI 안전 연구를 지속하고 있다. 이번 MOU 체결을 통해 AI 기술 발전의 위험 요소에 대한 대응을 강화하고, 안전하고 신뢰성 있는 AI 기술 환경을 구축해 나갈 예정이다. AI 안전성 연구센터는 이를 통해 대한민국의 AI 안전 연구와 정책 개발의 중심이 되고, 글로벌 경쟁력을 강화하는 데 주력할 계획이다.[관련 기사] 정부, AI안전연구소 판교에 설립···"기술‧정책 역량 조속 확보" - ZDNet korea 

 AI안전성연구센터가 11월 28일과 29일 양일간 곤지암 리조트에서 개최된 2024 한국정보보호학회 동계학술대회 CISC-W'24에서 한국인터넷진흥원 우수논문상과 학회 우수논문상을 수상했다.이번 학술대회는 정보보호 분야의 연구자들이 최신 연구 성과를 공유하고, 심도 있는 토론을 펼친 자리였다.이 행사는 한국정보보호학회가 주최하고 과학기술정보통신부, 국가정보원, 행정안전부 등이 후원하였으며, 다양한 연구 주제가 발표되어 정보보호 기술의 전망과 발전 방향을 모색하는 기회를 제공했다.특히, 한국인터넷진흥원 우수논문상을 수상한 나현식 박사 과정은  「영어 및 한국어 탈옥 완화 템플릿을 활용한 PromptGuard의 탐지 성능 및 실효성 분석」이라는 논문을 발표했다. 이 논문은 LLM에 대한 탈옥 공격 탐지에 사용되는 PromptGuard의 성능을 심층적으로 분석하여, 앞으로 탈옥 공격에 어떻게 대비할지 에 대해 방향성을 제시하였다.또한, 학회 우수논문상을 수상한 박대얼 석사 과정은 「대규모 언어모델 한국어 탈옥 프롬프트 분류기 연구」라는 논문을 발표했다. 이 연구는 한국어 탈옥 공격 프롬프트를 사전에 탐지할 수 있는 데이터셋과 탐지 모델을 개발한 점에서 주목받았다.한국정보보호학회는 이번 학술대회를 통해 200여 편의 논문이 발표되었으며, 참가자들 사이에서는 정보 보호 기술의 미래에 대한 활발한 논의가 이루어졌다고 밝혔다. 학회는 앞으로도 정보 보호 연구의 질적 성장을 도모하고, 관련 전문가들이 네트워킹할 수 있는 기회를 제공하는 데 힘쓸 예정이다.