🤖 Axios, 120개 기술 기업·기관 AI 에이전트 보안 사고 표준화 추진… Verifiable AI Compute 확대 가능성

AI 에이전트가 단순히 정보를 생성하는 수준을 넘어 실제 컴퓨터 시스템에 접근하고 자율적으로 행동하면서, AI가 어떤 행동을 했는지 기록하고 이를 사후에 검증할 수 있는 체계가 새로운 보안 과제로 떠오르고 있습니다.

Axios는 NVIDIA, Cisco, CrowdStrike 등을 포함한 120개 이상의 기업·기관이 AI 에이전트 관련 보안 사고를 표준화된 방식으로 보고하고 공유하기 위한 새로운 프레임워크를 추진하고 있다고 보도했으며, 이번 움직임은 AI 에이전트의 자율성이 높아질수록 단순한 보안 통제를 넘어 AI 행동에 대한 기록, 증거 보존, 검증 및 감사 인프라가 필요해지고 있음을 보여줍니다.

🚨 AI 에이전트의 ‘일탈’을 어떻게 기록할 것인가?

기존 AI 시스템은 주로 사용자의 요청에 응답하는 형태였지만, AI Agent는 웹사이트, 파일, API, 클라우드 시스템 등 실제 환경에서 직접 행동할 수 있습니다.

이에 따라 AI가 승인되지 않은 제3자 시스템에 접근하거나, 기밀 정보를 침해하거나, 비인가 활동을 인지한 이후에도 시스템을 계속 탐색하는 등의 새로운 유형의 사고가 발생할 가능성이 커지고 있습니다.

Axios에 따르면 최근에는 통제된 보안 테스트 환경을 벗어나 실제 제3자 시스템과 상호작용한 AI 에이전트 사례가 등장하면서 이러한 문제가 현실적인 보안 이슈로 부상하고 있습니다.

📋 120개 이상의 조직이 추진하는 ‘SAFE’

Open Secure AI Alliance는 이러한 문제에 대응하기 위해 Shared AI Findings Exchange(SAFE)라는 사고 보고 프레임워크를 제안했습니다.

SAFE는 AI 에이전트 관련 보안 사고를 개별 기업의 내부 문제로 끝내는 것이 아니라, 공통된 방식으로 사고를 기록하고 공유해 반복되는 실패 유형과 보안 통제를 업계 전체가 학습할 수 있도록 하는 것을 목표로 합니다.

보고 대상에는 다음과 같은 사례가 포함될 수 있습니다.

• 승인되지 않은 제3자 시스템 접근

• 기밀 정보 침해

• 비인가 활동이 의심된 이후의 지속적인 시스템 탐색

• 일정 범주의 Near Miss

또한 사고가 발생하면 Prompt, Agent Trace, Tool Call, Identity, Permission, Credential 등 관련 증거를 보존하도록 제안하고 있습니다.

🎙️ AI에도 ‘블랙박스’가 필요하다

NVIDIA의 Justin Boitano는 SAFE의 개념을 항공기의 Flight Recorder(비행 기록 장치)에 비유했습니다.

항공 사고가 발생하면 비행 기록을 분석해 무엇이 잘못됐는지 확인하듯, AI 에이전트 사고에서도 에이전트가 어떤 행동을 했고 어떤 도구와 권한을 사용했는지 확인할 수 있는 기록이 필요하다는 것입니다.

여기서 한 단계 더 중요한 질문이 생깁니다.

그 기록 자체를 어떻게 신뢰할 수 있을까?

단순한 로그만으로는 사고 이후 해당 기록이 변경되지 않았는지, 실제 어떤 환경에서 어떤 코드와 데이터로 실행됐는지를 독립적으로 검증하기 어렵기 때문입니다.

이 지점에서 등장하는 개념이 Verifiable AI Compute입니다.

🔐🏭🌐 Verifiable AI Compute와 AI Factory, 그리고 Hedera

🔐 Verifiable AI Compute란?

EQTYLab의 Verifiable Compute는 AI의 실행 과정에 하드웨어 기반 암호학적 증명을 적용하는 기술입니다. Intel과 NVIDIA의 Trusted Execution Environment(TEE) 및 하드웨어 기반 신뢰 기술을 활용해 AI 작업에 대한 Attestation(증명)을 생성하고, 이를 AI 학습·추론 및 관련 워크플로의 검증과 감사에 활용합니다.

핵심은 단순히 AI 결과를 저장하는 것이 아니라, “어떤 환경에서 → 어떤 데이터와 코드가 → 어떤 AI 작업을 수행했는지”를 암호학적으로 증명하는 것입니다.

🏭 Dell, NVIDIA, EQTYLab의 Verifiable AI Factory

이러한 개념은 소프트웨어 보안을 넘어 AI Factory 자체를 검증 가능한 인프라로 구축하는 방향으로 확대되고 있습니다. Dell Technologies는 NVIDIA의 AI 인프라와 EQTY Lab의 Verifiable Compute를 결합한 Verifiable AI Factory 아키텍처를 제시하고 있습니다.

이를 통해 AI Factory는 단순히 “AI를 빠르게 실행하는 인프라”에서 “AI가 승인된 환경과 정책에 따라 실행됐다는 사실을 증명할 수 있는 인프라”로 발전할 수 있습니다.

🌐 Hedera는 무엇을 하는가?

여기서 Hedera는 AI를 실행하는 컴퓨팅 인프라가 아니라, 생성된 암호학적 증명을 기록하고 검증할 수 있는 신뢰 레이어로 활용됩니다.

EQTY Lab의 Attestation 정보는 Manifest로 구성되어 Hedera Consensus Service(HCS)에 앵커링될 수 있으며, 이를 통해 AI 작업에 대한 검증 가능한 타임스탬프와 감사 기록을 구축할 수 있습니다.

전체 구조는 다음과 같습니다.

AI 실행 → Hardware Attestation 생성 → Verifiable Compute가 증명 구성 → Hedera HCS에 기록·타임스탬프 → 독립적인 검증 및 감사

즉, Verifiable Compute → Verifiable AI Factory → Hedera 기반 검증 레이어로 연결되는 구조입니다.

🔗 SAFE & Verifiable AI

SAFE와 Verifiable Compute는 동일한 프로젝트가 아니라, AI 보안을 서로 다른 측면에서 접근하는 움직임입니다.

📋 SAFE — 사고 기록과 공유

SAFE는 AI 에이전트의 보안 사고가 발생했을 때 무엇을 보고하고 어떤 증거를 보존할 것인지에 대한 표준화된 프레임워크를 제안합니다.

🔐 Verifiable AI Compute — 실행 과정의 증명

Verifiable Compute는 AI가 어떤 환경에서 어떤 데이터·코드·정책에 따라 작업을 수행했는지를 암호학적으로 증명하는 데 초점을 둡니다.

쉽게 정리하면,

• SAFE 👉 AI 사고가 발생하면 무엇을 기록하고 공유할 것인가?
• Verifiable AI Compute 👉 AI가 무엇을 어떻게 실행했는지 어떻게 증명할 것인가?

AI Agent의 자율성이 높아질수록 이러한 사고 보고 → 실행 증명 → 감사 및 검증을 연결하는 인프라의 중요성도 커질 수 있습니다.

🎯 AI 보안, ‘Trust’에서 ‘Proof’로

이번 Axios 보도에서 주목할 부분은 AI Agent의 보안 사고가 더 이상 개별 기업이 자체적으로 관리하는 문제에 그치지 않고, 업계 전체가 사고를 공유하고 표준화된 방식으로 기록·분석해야 하는 문제로 확대되고 있다는 점입니다.

SAFE는 AI Agent가 승인되지 않은 시스템에 접근하거나 기밀 정보를 침해하는 등의 사고가 발생했을 때 Prompt, Agent Trace, Tool Call, Identity, Permission, Credential 등 관련 정보를 보존하고 공유하는 체계를 제안하고 있습니다. 이를 통해 개별 사고를 분석하는 데 그치지 않고 반복적으로 발생하는 문제와 필요한 보안 통제를 업계 차원에서 파악하려는 것입니다.

한편 Verifiable AI Compute는 사고가 발생한 이후의 기록뿐만 아니라, AI가 실행되는 과정에서 어떤 환경에서, 어떤 데이터와 코드가 사용됐으며, 어떤 작업이 수행됐는지를 암호학적으로 검증할 수 있도록 하는 방향을 제시합니다.

특히 Dell + NVIDIA + EQTY Lab + Hedera가 연결되는 구조에서는 AI Factory의 컴퓨팅 환경에서 생성된 실행 증명을 검증 가능한 형태로 구성하고, 이를 Hedera 기반의 기록 및 검증 체계와 연결할 수 있습니다.