[양재혁의 바이오Talk 헬스Talk] AI의 실수로 살펴보는 인공지능 사용 주의사항

인공지능의 실수로 논란이 되고 있다.

Pocket OS 사건은 클로드 기반 코딩 에이전트 오작동으로 회사 DB 전체가 삭제된 사건이다. AI 코딩 에이전트 커서(Cursor)가 앤트로픽의 모델 ‘클로드 오퍼스 4.6’을 기반으로 작동하던 중, AI 코딩 에이전트가 운영 데이터베이스와 백업까지 삭제하여 3개월전 백업을 통해서 일부 복구했다. AI 코딩 에이전트는 개발자의 지시를 받아 프로그램 코드를 작성, 수정하고 시스템 작업까지 수행하는 자동화된 도구이다.

 

이번 사건의 핵심은 AI 에이전트가 지시를 잘못 해석하거나 과잉실행해서 운영환경에 직접 피해를 준 사례라는 점이다.

비슷한 사례로 올해 2월 발생한 Lobstar Wilde 사고는 AI 트레이딩 에이전트가 310달러를 요구하는 낯선 사람에게 44만 1천 달러 상당의 토큰을 보낸 사건도 있다. AI가 제어하는 지갑의 심각한 보안과 권한의 허점을 보여준 사고다.

두 사례는 모두 과도한 권한과 통제 없는 자동 실행이 결합될 경우, AI가 실제 피해로 이어질 수 있음을 보여준다.

 

 

인공지능의 이런 문제점에 대해서 전문가들은 어떤 주의사항을 제시했는지 살펴보자.

인공지능의 능력에 대해서 지난 2019년부터 ‘인공지능 주의사항’에 대한 논의들은 시작되었다.

 

가장 널리 합의된 국제 기준으로 2019년 만들어진 OECD AI원칙이 있다.

원칙에 비추어 보면, 안전성 측면에서는 운영환경 자동 실행을 제한해야 하며, 투명성 측면에서는 로그와 추적 가능성을 확보해야 한다. 또한 책임성 측면에서는 최종 승인과 중단 권한을 명확히 해야 한다.

 

다음으로 미국의 연방지침 M-25-21을 살펴보자.

이 지침은 미국 백악관 산하 행정관리예산국(Office of Management and Budget, OMB)에서 2025년 4월 3일 발표한 미국 연방정부 AI 활용, 거버넌스 공식지침이다. 이 지침에서는 AI 활용을 가속화(Acceleration)하되, 거버넌스(Governance)와 공공신뢰(Public Trust)를 동시에 확보하라고 권고하고 있다.

 

우리나라도 2025년 제정된 ‘인공지능 발전과 신뢰 기반 조성 기본법’이 2026년 시행중이다.

여러가지 기준과 가이드라인의 뜻을 헤아리자면,

한마디로 말하면 AI를 쓰지 말라가 아니라 “통제할 수 있을 만큼만 쓰라”는 점이다.

 

 

 

지금 인공지능의 도입과 활용에 있어서 매우 중요한 시기이다.

너도 나도 인공지능을 도입하고 있지만, 자동화에 가리워진 통제 불가능한 상황을 고려해보지 않고 무조건적인 도입은 신입사원(인공지능)에게 회사의 모든 열쇠(권한)을 다 쥐여준 것이라고 할 수 있다.

 

위에서 발생한 문제는 인공지능의 문제라기 보다는 인공지능을 다루는 조직의 판단의 문제로 보는 것이 맞다.

OECD의 AI원칙의 다섯번째 원칙 “명확한 책임”을 다시한번 되새겨야 하겠다.

 

이 인공지능에게 어디까지 권한을 줄 것인가?

멈출 권한은 누구에게 있는가?

우리는 이러한 문제에 대해서 답할 준비가 되어 있어야 하겠다.

인공지능은 만능이 아니다.

AI 도입의 핵심은 기술이 아니라 통제 구조의 설계에 있다.

 

 

이러한 문제의식은 산업계에서도 점차 공유되고 있다.

이런 면에서 보면 지난 4월 설립된 AI Agent Alliance는 우리나라 인공지능업계가 같이 고민해야 할 문제를 함께 논의할 수 있는 장을 만들었다는 점에서 무척 시의 적절한 결정이다. 이제 필요한 것은 논의의 활성화와 대안 마련이다.

 

 

글. 한국지능웰케어산업협회 양재혁 이사