[양재혁의 바이오Talk 헬스Talk] 탐험(Exploration)이냐? 활용(Exploitation)이냐?

중국 인공지능업체 딥시크(Deepseek)로 미국 엔비디아의 주가가 큰 폭의 하락을 했다는 이야기가 사람들의 관심을 받고 있다.

 

인공지능의 시대로 나아가면서 우리가 할 수 있는 일은 대형 자본을 통해서 만들어 놓은 인공지능 모델을 써야만 하는 것인가? 라는 질문에 과감한 도전장을 내밀었다.

 

경쟁은 혁신을 낳는다.

필자가 좋아하는 말이다.

 

이 문제는 경영학에서 탐험과 활용의 선택과도 연결된다.

탐험(Exploration) 관점에서는 장기적인 관점으로 불확실한 미래 앞에서도 새로운 가능성을 지속적으로 찾아낸다. 반면 활용(Exploitation) 관점에서는 안정적이고 일관된 패턴의 환경하에서 알려진 최선의 선택을 하게 된다.

 

탐험을 할 것인가? 활용을 할 것인가?

[표] 탐험과 활용

특성	탐험 Exploration	활용 Exploitation
목적	새로운 정보와 기회 탐색	알려진 최선의 옵션 활용
시간 관점	장기적 개선 지향	단기적 이익 추구
위험도	높음, 불확실성 내포	낮음, 기존 지식에 의존
적합한 환경	동적이고 변화하는 상황	안정적이고 일관된 패턴의 환경
적응성	새로운 가능성 지속 탐색으로 적응력 향상	과도한 의존 시 정체 가능성
강화학습에서의 역할	새로운 행동 시도로 환경 학습	알려진 최선의 행동 선택

 

 

딥시크 문제를 탐색과 활용의 측면에서 살펴보자.

 

딥시크(DeepSeek-R1-Zero)를 분석한 전문가의 말을 따르자면 딥시커는 강화학습의 리워드 시스템에서 독특한 점을 보이고 있다고 한다. 강화학습은 한마디로 인공지능을 공부(학습)시키기 위해서 제공하는 별점과 같은 개념이다. 별점을 많이 받기 위해 열심히 공부하는 아이처럼 인공지능 모델도 이런 보상체계를 따른다.

 

리워드 모델을 살펴보면 두 가지 주요 보상 유형을 사용하여 강화학습(RL)을 했다고 한다.

첫 번째는 정확도 보상(Accuracy Rewards)인데 이 보상은 응답이 정확한지를 평가한다. 수학 문제를 예를 들 수 있는데 수학 또는 코딩과 같은 질문에 대해서는 미리 정의되어 있는 정답이나 테스트 케이스를 기반으로 정확한지를 확인하게 된다. 눈 깜짝할 사이에 검산도 한다고 보면 된다.

 

두 번째 보상은 형식보상(Format Rewards)이다. 이 모델에는 추론 능력을 향상시키는 것이다. 정확한 답변을 생성하면서도 그 과정을 표현할 수 있도록 유도하고 있다.

사진. 딥시크 DeepSeek

 

딥시크의 혁신적인 접근 방식은 모델훈련 방식에서도 찾을 수 있다.

‘문제’와 ‘정답’을 주고 인공지능을 공부시키는 지도학습이 아닌 강화 학습만으로 모델을 훈련시켰다는 점이 중요하다. 오히려 이것이 강력한 추론 능력을 갖출 수 있는 기회를 주었다는 것이다.

 

앞서 말한 활용은 ‘지도학습’과 탐험은 ‘강화학습’에 대응해서 설명할 수 있겠다.

탐험을 내세운 딥시커의 혁신이 세계를 놀라게 하는 ‘메기’가 되었다.

 

이처럼 인공지능의 학습에 대한 다양한 시도와 딥시크의 오픈소스 전략은 ‘혁신’의 불씨를 키워가고 있다.

 

사람을 상대로 하는 헬스케어 분야는 전통적으로 보수적이다.

탐험보다는 활용에 맞추어져 있으며, 수많은 논문의 바다를 통해서 문제의 실마리를 찾고 있다. 분명 인공지능의 프로세스를 보게 되면 검증의 프로세스를 가지고 있으며, 이 부분은 명확한 결과를 도출하기 위한 다양한 추론을 검증하고 또 검증한다. 또한 수많은 혁신가들이 헬스케어 혁신을 위해서 밤낮을 가리지 않고 연구개발 중이다.

 

이러한 인공지능 기술을 지금 당장 활용하느냐 아니냐는 지금도 독자들의 선택이다.

 

탐험(Exploration)이냐? 활용(Exploitation)이냐?

 

글. (재)베스티안재단 이노베이션센터 양재혁 실장