공상과학 소설과 영화에서나 묘사되던 ‘인공지능’, ‘AI’ 키워드는 불과 10년도 안되는 사이에 전문가를 넘어 주식시장까지 흔들어 놓는 모두가 익숙한 키워드가 되었습니다. 머신러닝으로 대표되는 AI에 대해 잘 알고 있는 사람도, 여전히 미지의 세계이나 현실로 다가오고 있다는 정도의 느낌으로만 알고있는 사람도 많을텐데요, 갑자기 AI에 열광하게 된 이유와 더불어 강화학습의 원로 중 한명인 Rich Suttond의 에세이 글로 부터 이 방향으로 연구가 나아가야 하는 이유를 소개드리고자 합니다.
참고로, 로봇과 관련한 내용은 다른 포스팅에서 다루고 있으니 혹시 로봇공학에 관심이 있으신 분들 께서는 함께 읽어보시면 좋을 것 같습니다.
Table of Contents
AI: 인공지능
‘인공지능’ 키워드는 사실 머신러닝 기술이 본격적으로 알려지기 전부터 있던 분야입니다. 정확히 말하면 이것이 등장하기 전부터 인공지능이라는 더 큰 개념이 있었다고 보면 되겠습니다.
머신러닝의 본격적인 등장이 워낙 큰 변화를 가져왔기에 인공지능을 크게 머신러닝 전과 후로 나누기도 합니다.
- Classical AI: 머신러닝과는 무관한 오래전부터 연구된 분야. 정해진 rule을 따라가는 시스템
- Modern AI: 머신러닝으로 대표되는 인공지능 분야. 정해진 rule이 아닌 방대한 데이터로 부터 방법을 유추하는 시스템
AI 기술은 무엇이 다른가
개발자가 방식을 정해서 프로그래밍 하는 방식은 개발의 방향이 명확하고 직관적이지만, 개발자의 한계가 곧 프로그램의 한계로 연결됩니다. 모든걸 알아야 룰을 정해서 개발을 할텐데, 그러기엔 세상이 너무 어렵습니다.
반면, 룰을 만들어주는 대신 방대한 결과물을 던져주고 ‘이렇게 되게 해’ 라고 만든 다음, 시스템이 알아서 룰을 찾게 만드는 방식은 개발자의 사고를 뛰어넘어 사람이 정의하지 못하는 영역까지 도전할 수 있습니다. 바로 이것이 머신러닝이 화두가 되고 그동안 풀지 못한 문제를 풀어내게 된 배경입니다.
가장 대표적인 예로 사진에서 사람찾기를 들 수 있습니다. 이전의 방식은 ‘사람의 특징이 무엇인가’ 부터 정의하고 이에 맞아드는 영역을 사진에서 찾아보는 방향으로 접근하였는데, 당연히 성능이 제한적이었습니다. [사진에 담기는 사람의 특징]을 수학적으로 표현하는 것 자체가 난제이기 때문에 틀릴 때도 많고 있는데 못찾는 경우도 많을 수 밖에 없습니다.
반면, 사람이 있는 사진과 어디가 사람에 해당하는 영역인지에 대한 예시를 많이 알려주고 ‘이렇게 찾아봐’ 라고 하는 방식은 데이터만 있다면 프로그래밍도 쉽고 효과도 비교할 수 없을 정도로 뛰어납니다.
전문가가 말하는 머신러닝을 써야하는 이유
머신러닝을 이용한 기술들이 효과적인 경우가 아주 많지만, 그렇다고 모든 경우에 이런 방식이 최고인 것은 아닙니다. 아주 간단한 예로, 사칙연산과 같은 목적이 명확한 경우는 바로 계산을 하는 방식이 방대한 수식으로 학습하고 계산결과를 예측하는 머신러닝 방식보다 만들기도 쉽고 정확하고 연산량이 적습니다. 심지어 자칫 결과를 잘못 알려주기도 하죠.
그렇다면 시간을 많이 들여 모든 경우에 대해 딱 맞는 프로그램을 만들지 않고 방대한 데이터가 필요하고 더 복잡한 시스템을 필요로 하는 이런 방식을 최종적인 목표로 해야하는 이유는 무엇일까요? 이에 대한 해당 분야 전문가의 에세이가 있어 소개드립니다.
생성형 AI의 도움을 받아 한국어로 정리해보면 대략 이런 내용입니다.
70년 간의 인공지능 연구를 통해 얻을 수 있는 가장 큰 교훈은 연산능력을 활용하는 보편적인 방법이 결국 가장 효과적이라는 것이다. 이에 대한 근본적인 이유는 모어의 법칙, 즉 계산 단위당 비용이 계속해서 지수적으로 감소하는 추세 때문이다. 대부분의 AI 연구는 연산 능력이 일정하다고 가정하며 진행되었지만, 실제로는 짧은 시간 동안 대량의 연산 능력이 가능해진다. 연구자들은 단기적인 성과를 위해 도메인에 대한 인간의 지식을 활용하려고 하지만, 장기적으로는 연산능력을 활용하는 것이 가장 중요하다. 예를 들어, 1997년에 세계 체스 챔피언 카스파로프를 컴퓨터가 이긴 방법은 deep search를 기반으로 했다. 이것은 당시 체스의 특별한 구조를 이해하려는 연구자들에게는 충격이었다. 컴퓨터 바둑에서도 비슷한 연구 패턴이 나타났다. 초창기에는 인간의 지식을 활용하려는 노력이 많았지만, 결국 deep search와 학습을 통한 방법이 더 성공적이었다. 음성 인식 분야에서도 1970년대 DARPA의 경쟁에서 통계적 방법이 인간 지식 기반 방법을 능가했다. 이후, deep learning 방법이 음성 인식에 큰 역할을 했다. 컴퓨터 비전에서도 초기에는 간단한 특징을 찾는 방법이 사용되었지만, 현재는 deep learning neural network가 더 우수한 성능을 보여준다. 이러한 패턴은 연구자들이 자신들의 생각과 지식을 기반으로 시스템을 만들려고 했지만, 결국에는 방대한 연산을 활용하는 방법이 더 효과적이었다는 것을 보여준다. 결과적으로, 연구자들은 인간 중심의 접근법보다 연산을 활용하는 일반적인 방법의 중요성을 인식해야 한다. 가장 중요한 것은 탐색과 학습이다. 우리는 복잡한 마음의 내용을 단순화하려고 시도하는 것을 멈춰야 한다. 대신에 복잡성을 찾고 포착할 수 있는 meta-method만을 구축해야 한다.
‘The Bitter Lesson’은 특히 머신러닝과 AI를 연구하고, 이 기술들을 실제 세계의 문제에 적용하려는 이들에게 필수적인 읽을 거리입니다. 서튼은 기술의 발전이 인간의 편견과 제한된 사고를 넘어설 수 있는 방법을 제시하면서, 우리가 어떻게 기술을 활용하여 더 넓은 가능성을 탐구할 수 있는지를 탐색합니다. 이 글을 통해, 우리는 머신러닝의 미래가 단순히 알고리즘의 복잡성이나 정교함에 있는 것이 아니라, 대규모의 데이터와 강력한 계산 능력을 어떻게 사용하는지에 달려있다는 교훈을 얻을 수 있습니다.
‘The Bitter Lesson’의 내용과 그것이 제시하는 전망은, 기술이 인류의 한계를 어떻게 넘어서고 있는지를 이해하는 데 중요한 역할을 합니다. 이는 AI가 우리의 삶과 사회에 가져올 변화를 더 깊이 이해하고자 하는 모든 이들에게 통찰력 있는 가이드를 제공합니다.”
이 에세이는 또 인공지능 연구의 역사를 통해, 계산 능력의 증가가 어떻게 기존의 접근법을 능가하는 새로운 기회를 제공했는지를 보여줍니다. 예를 들어, 체스와 같은 게임에서 AI가 인간의 챔피언을 이기는 데에는 특정한 전략을 학습하는 것보다는, 더 많은 가능성을 탐색할 수 있는 능력이 중요했습니다. 이 방식이 단순한 패턴 인식을 넘어서, 복잡한 결정을 내리고 예측하는 데에 있어 핵심적인 역할을 할 수 있음을 시사합니다.
정리
최근 몇년 간 AI가 화두로 떠오르면서 여러가지 논점들 역시 많이 떠오르는 것 같습니다. 앞으로 더 고민하게 될 AI 기술의 활용에 대해 고민하는데 있어 기반이 될 수 있는 좋은 글인 것 같아 소개드렸습니다.
리처드 서튼의 “The Bitter Lesson”은 인공지능 분야에서 중요한 통찰력을 제공하는 에세이입니다. 서튼은 이 에세이를 통해 컴퓨터의 계산 능력이 증가함에 따라, 가장 성공적인 AI 접근법들은 종종 특정 문제에 대해 맞춤화된 해결책보다는 범용적인 원칙과 방법론을 채택했다는 점을 강조합니다. 그의 주장은 AI가 발전함에 따라, 우리가 고안한 특수한 알고리즘들보다는 데이터와 계산력을 활용하는 것이 더 효과적이라는 것입니다.
이 에세이는 인공지능에 대한 깊은 생각을 해보게 합니다. 대량의 데이터에서 패턴을 학습하고, 이를 통해 예측이나 의사 결정을 할 수 있는 능력을 컴퓨터에 부여하는 이런 방식은 분명 새롭고 그간 해결방법을 찾지 못한 많은 문제들의 해결책이 되고 있습니다. 이 과정에서 중요한 것은 특정 문제에 대한 세세한 지식보다는, 알고리즘이 다양한 상황에서 일반화할 수 있는 능력을 개발하는 것입니다. 서튼의 주장대로라면, 머신러닝의 진정한 힘은 고도화된 계산 능력과 방대한 양의 데이터를 활용하여, 복잡한 문제를 해결하는 데 있습니다.
결론적으로, ‘The Bitter Lesson’은 우리에게 중요한 메시지를 전달합니다. 그것은 바로 인공지능과 머신러닝의 미래가 특화된 알고리즘보다는 범용적인 원칙과 방대한 데이터, 그리고 강력한 계산 능력을 활용하는 데에 있다는 것입니다. 이를 통해, 우리는 더 복잡하고 다양한 문제를 해결하고, 기술의 미래를 형성하는 데 중요한 역할을 할 수 있습니다. ‘The Bitter Lesson’은 기술의 발전과 인간의 창의성이 어떻게 결합될 수 있는지에 대한 통찰력 있는 가이드를 제공하며, 이는 머신러닝과 AI의 미래를 탐색하는 모든 이들에게 필수적인 교훈입니다.