AI 위험관리
AI 시스템의 취약점과 잠재적 위협을 분석하고 시각화하여, 방어 기술을 개발하고 안전한 AI 환경을 구축
얼굴 인식 AI 기만공격 기술
얼굴인식 탐지기를 속이기 위해 패치의 위치, 색상, 물리적 현실성을 반영해 설계한 적대적 패치를 부착해 모델 취약점을 악용한 오탐 유발 기술
2021년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격탐지 기술, 정보통신기획평가원
LLM 악성 프롬프트 데이터셋 및 생성
LLM에 대한 Jailbreak Template 데이터세트 구축 및 정상과 악성 간의 경계선을 강화한 BERT 기반 2 stage 2 axis 악성 프롬프트 사전 탐지 기술
2024년, 생성형 AI 보안 위협 대응 기술 개발, 정보통신기획평가원
AI 취약점 시각화 모니터링
AI 모델의 취약점과 역기능을 식별하기 위한 신경망 계층별 출력값 분석 및 시각화를 활용한 효과적인 탐지 및 모니터링 기술
2024년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격 탐지 기술 개발, 정보통신기획평가원
Invisible 이미지 워터마크 제거 공격
Invisible 이미지 워터마크를 CLAHE 기반 색상 스펙트럼 변환을 통해 이미지 손상을 최소화하면서 워터마크를 제거하는 공격 기술
2024년, 생성형 AI 보안 위협 대응 기술 개발, 정보통신기획평가원
얼굴 인식 모델 백도어 공격
얼굴 이미지 합성 기술 기반 백도어 오염 공격을 통한 눈, 입, 머리 영역에 자연스러운 백도어 트리거를 삽입하고 모델을 오염시키는 기술
2022년, 인공지능에 대한 고도화된 적대적 예제 취약성 분석 및 방어기술 연구, 한국연구재단
Neuro-Symbolic 기반 적대적 공격 탐지
Symbolic AI와 Neural AI를 결합하여 인간의 상식 및 적대적 이미지 간의 불일치를 기반으로 적대적 예제를 탐지하는 기술
2024년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격 탐지 기술 개발, 정보통신기획평가원
메타버스 AI 보안 가이드라인
메타버스 내 다양한 환경에서 발생 가능한 보안 위협 요소 분석 및 보안 대책을 기반으로 안전한 서비스 제공을 위한 기반 마련
2022년, 국가 공공기관 메타버스 도입 시 보안 고려사항, 미래과학아카데미
공공시스템 AI 보안 대책 개발
국가 및 공공기관의 AI 서비스 확대에 따른 AI 오남용으로 발생할 수 있는 위협 및 취약점의 조사·분석과 이를 예방하기 위한 보안 대책 개발
2018년, AI 서비스 확대에 대비하는 공공시스템 보안대책 적용 방안, 국가보안기술연구소
