AI 위험관리
AI 시스템의 취약점과 잠재적 위협을 분석하고 시각화하여, 방어 기술을 개발하고 안전한 AI 환경을 구축
지식 그래프를 학습한 뉴럴 심볼릭 적대적 이미지 탐지기
지식 그래프 기반 객체 구성 요소와 Part Segmentation 결과를 비교하여 적대적 이미지를 탐지하고, 탐지 근거를 제공하는 탐지기
2026년, 생성형 AI 보안 위협 대응 기술 개발,정보통신기획평가원
주변 패치 정보를 통한 적대적 패치 탐지 및 복원 비학습 방법
입력된 이미지 패치들 중 주변 패치와의 유사성을 비교하여 공격된 패치를 탐지하고, 주변 패치 정보를 기반으로 해당 패치를 복원하는 모듈
2026년, 생성형 AI 보안 위협 대응 기술 개발,정보통신기획평가원
확장 가능한 탈옥 벤치마크 구축
기존 탈옥 템플릿의 구조를 유지하면서 악성 의도를 자연스럽게 삽입하여 대규모 안전성 벤치마크를 생성하는 확장 가능한 탈옥 벤치마크 구축 기술
2026년, 생성형 AI 보안 위협 대응 기술 개발,정보통신기획평가원
신뢰도 기반 자동 탈옥 우회 프롬프트 탐색
타깃 모델 응답과 구조화 평가 결과를 반복적으로 피드백하여 안전 분류 경계에 가까운 우회 프롬프트를 탐색·자동 생성하는 프레임워크
2026년, 생성형 AI 보안 위협 대응 기술 개발,정보통신기획평가원
외부 프롬프트 인젝션
챗봇 환경에서 프롬프트 인젝션을 공격 벡터로 하여, 사용자의 개인정보를 공격자의 서버로 탈취하는 시나리오를 실제 서비스 환경에서 재현
2026년, LMM 생태계의 위협과 취약점 분석 안전성 검증 기술 개발, 과학기술정보통신부, 정보통신기획평가원
분류기 비의존 자동 레드티밍 프레임워크
기존 상호 진화형 자동 레드티밍 프레임워크에서 판별기에 대한 의존도를 제거하고, 모델 탐측 기반 유해성 평가를 도입한 프레임워크 구조 제안
2026년, LMM 생태계의 위협과 취약점 분석 안전성 검증 기술 개발, 과학기술정보통신부, 정보통신기획평가원
Low Eigenvalue 영역 기반 Diffusion 모델 워터마킹
모델 소유권 검증을 위해 식별 가능하고 강건한 워터마크 주입 기법을 제시하고, 공격자 지식 수준에 따른 강건성과 한계를 분석
2026년, 생성형 AI 보안 위협 대응 기술 개발,정보통신기획평가원
한국어·영어 LLM 탈옥 및 프롬프트 인젝션 안전성 평가
한국어-영어 벤치마크와 평가 프레임워크, 로컬 LLM과 서비스 통합 LLM등을 대상으로 안전성 및 보안 견고성을 평가
2026년, LMM 생태계의 위협과 취약점 분석 안전성 검증 기술 개발, 과학기술정보통신부, 정보통신기획평가원
Infared 영역 기반 적대적 패치 탐지 및 완화
Thermal Image 기반 영역 분할을 활용하여 사람 탐지 결과를 비교·분석함으로써 적대적 패치 탐지 및 완화
2025년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격 탐지 기술 개발, 정보통신기획평가원
Attention Map 기반 ViT 적대적 이미지 탐지
적대적 공격의 특성으로 인해 attention map에서 발생하는 차이를 이용하여 공격 탐지
2025년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격 탐지 기술 개발
블랙박스 환경 LLM의 취약점 탐색 방법
블랙박스 환경에서 inference-time backdoor 공격을 유발하는 트리거를 자동으로 탐색하는 기법
2026년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격 탐지 기술 개발, 정보통신기획평가원
Prior-Posterior 증폭 기반 백도어 탐지
inefence-time 백도어를 모델의 prior와 posterior간의 차이를 CUSUM으로 누적하여 저비용으로 탐지하는 기술
연구과제: 2026년, 생성형 AI 보안 위협 대응 기술 개발, 정보통신기획평가원
인과추론 기반 적대적 패치 공격에 강건한 객체 탐지 파인튜닝
패치 위치·회전·밝기를 혼동 변수로 보는 도구변수 회귀 기반 인과적 특징 학습으로 다양한 패치 공격에 일반화된 강건성 달성하는 적대적 파인튜닝
2026년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격 탐지 기술 개발, 정보통신기획평가원 / 2026년, 생성형 AI 보안 위협 대응 기술 개발, 정보통신기획평가원
일반화된 적대 패치 학습을 위한 점진적 패치 생성
Poisson Sampler로 데이터를 배치별로 나눠 패치를 점진 생성, 기존 대비 11.1배 빠르게 다양한 패치 생성해 적대 학습 일반화 강건성 향상
2025년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격 탐지 기술 개발, 정보통신기획평가원 / 2025년, 생성형 AI 보안 위협 대응 기술 개발, 정보통신기획평가원
AI/ML 프레임워크 취약점 공격 경로 분석 및 LLM 경량 버그헌팅
CVE 761건 분석으로 도출한 AI/ML 프레임워크 3대 공격 경로를 LLM 프롬프트로 구조화하여 실제 취약점을 탐지하는 경량 버그헌팅 기법
2026년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격탐지 기술 개발, 정보통신기획평가원
이미지-텍스트 임베딩 기반 적대적 예제 탐지
Cross-modal semantic embedding을 활용하여 이미지와 라벨을 동일한 의미 공간으로 정렬하고 유사도를 평가하여 적대적 예제 탐지
2025년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격 탐지 기술 개발, 정보통신기획평가원
얼굴 인식 AI 기만공격 기술
얼굴인식 탐지기를 속이기 위해 패치의 위치, 색상, 물리적 현실성을 반영해 설계한 적대적 패치를 부착해 모델 취약점을 악용한 오탐 유발 기술
2021년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격탐지 기술, 정보통신기획평가원
LLM 악성 프롬프트 데이터셋 및 생성
LLM에 대한 Jailbreak Template 데이터세트 구축 및 정상과 악성 간의 경계선을 강화한 BERT 기반 2 stage 2 axis 악성 프롬프트 사전 탐지 기술
2024년, 생성형 AI 보안 위협 대응 기술 개발, 정보통신기획평가원
AI 취약점 시각화 모니터링
AI 모델의 취약점과 역기능을 식별하기 위한 신경망 계층별 출력값 분석 및 시각화를 활용한 효과적인 탐지 및 모니터링 기술
2024년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격 탐지 기술 개발, 정보통신기획평가원
Invisible 이미지 워터마크 제거 공격
Invisible 이미지 워터마크를 CLAHE 기반 색상 스펙트럼 변환을 통해 이미지 손상을 최소화하면서 워터마크를 제거하는 공격 기술
2024년, 생성형 AI 보안 위협 대응 기술 개발, 정보통신기획평가원
얼굴 인식 모델 백도어 공격
얼굴 이미지 합성 기술 기반 백도어 오염 공격을 통한 눈, 입, 머리 영역에 자연스러운 백도어 트리거를 삽입하고 모델을 오염시키는 기술
2022년, 인공지능에 대한 고도화된 적대적 예제 취약성 분석 및 방어기술 연구, 한국연구재단
Neuro-Symbolic 기반 적대적 공격 탐지
Symbolic AI와 Neural AI를 결합하여 인간의 상식 및 적대적 이미지 간의 불일치를 기반으로 적대적 예제를 탐지하는 기술
2024년, 엣지 AI 보안을 위한 Robust AI 및 분산 공격 탐지 기술 개발, 정보통신기획평가원
메타버스 AI 보안 가이드라인
메타버스 내 다양한 환경에서 발생 가능한 보안 위협 요소 분석 및 보안 대책을 기반으로 안전한 서비스 제공을 위한 기반 마련
2022년, 국가 공공기관 메타버스 도입 시 보안 고려사항, 미래과학아카데미
공공시스템 AI 보안 대책 개발
국가 및 공공기관의 AI 서비스 확대에 따른 AI 오남용으로 발생할 수 있는 위협 및 취약점의 조사·분석과 이를 예방하기 위한 보안 대책 개발
2018년, AI 서비스 확대에 대비하는 공공시스템 보안대책 적용 방안, 국가보안기술연구소
