짐 켈러가 말하는 엔비디아와 테슬라(feat. Dojo) - by. 상담

유투버 백색나무 돈이되는 투자님이 만드신 영상의 내용을 상담님께서 녹취하셔서 감사의 마음으로 공유합니다.

다른 목적은 전혀 없고, 영상 시청이 어려운 환경에 계신 분들께 도움 드리고자 공유하는 것이며, 원 제작자님의 영상을 먼저 올립니다.

https://www.youtube.com/watch?v=FnWWdgTVnu0

짐 켈러가 말하는 엔비디아와 테슬라(feat. Dojo)

백색나무 돈이 되는 투자. 2021.02.20. / 작성자: 상담

Q(Lex): 거대한 기업이 피벗(Pivot, 방향을 적절히 전환하면서 경영)하는 것은 정말 어려운 일입니다. 당신이 하고 있는 현재 일(*tenstorrent)도 피벗의 일종이니 더 잘 아실텐데요. 예를 들면, 데스크탑과 같은 PC들이 수 십 년간 (플랫폼을) 지배해왔다는 것은 명백한데, 그에 비해 모바일로 지배권이 넘어갈 줄은 확실치 않은 상황 속에 (+어떻게 과감하게 모바일로 피벗할 수 있었을까요?) 어떻게....

A(Jim Keller): 답은 리더십입니다.
스티브 잡스가 애플로 돌아온 후, 그의 체제에서 애플은 수 차례 피벗했습니다. 아이패드, 아이튠즈, 폰, 태블릿, 훌륭한 맥을 만들어냈죠. 컴퓨터가 알루미늄으로 만들어져야 한다는 것을 누가 알았을까요? 아무도 몰랐죠. 애플은 대단합니다. 아주 재밌어요.


Q(Lex): 잡스가 그걸 한 건가요?

A(Jim Keller): 네, 그렇죠. 잡스는 애플을 여러 차례 피벗(*PC위주에서 모바일 위주로 기업의 방향을 개선하는 데 성공했다) 했습니다. 과거 인텔이 그렇게 혁신했었죠. D램과 프로세서들을 만들면서 말이죠.


Q(Lex): 스티브 잡스와 함께 일하는 게 어땠는지 물어보고 싶은데

A(Jim Keller): 같이 일한 적 없어요. 저는..


Q(Lex): 그 사람과 만나는 봤나요?

A(Jim Keller): 두 번요. 식당에서 두 번 만나 인사해봤죠.


Q(Lex): 뭐라 하던가요? “Hl”?^^

A(Jim Keller): 그는 “어이 친구들” 이라고 했습니다. 잡스는 뭔가 친숙한 사람이었죠. 잡스는 식당이 꽉 차 테이블을 찾을 수가 없어 누군가와 않을 자리를 찾아 헤매고 있었습니다. 그래서 제가 자리를 내줬죠.
Nvidia는 HPC(*고성능 컴퓨팅)을 위해 Cuba에 몇 년 동안 투자했고 이는 운이 좋게도 AI 트렌드에 맞는 일이었죠.


Q(Lex): 하지만 당신이 보기에 Nvidia가 대대적으로 Ai 트렌드에 맞게 기업을 수정하지 못 할 거라 보나요?(*GPU -> Something)

A(Jim Keller): 그렇게 봅니다. 참 흥미로운 이야기입니다. 대기업들이 얼마나 ‘가끔’ 본질적으로 그들을 바꾸어내는지 지켜보는 일은 말이죠.


Q(Lex): Nvidia에서 일하는 사람들에 대해 얼마나 알고 있나요?

A(Jim Keller): 약간요.


Q(Lex): 약간...?

A(Jim Keller): 음


Q(Lex): 글쎄요, 결국...(누가 딥러닝을 위한 하드웨어에 왕좌를 차지할지)

A(Jim Keller): 물론 엔비디아도 여러 번 스스로를 바꿔왔습니다. 하지만 그러면서도 모바일이나 무선전송 네트워크 같은 기존 부문에서 지나치게 투자하고 있죠. 엔비니아는 본질적으로 GPU 기업에 머무르고 있죠.


Q(Lex): 엔비디아는 AI에 맞게 기업을 바꾸려고 노력하는 걸로 보이는 데, 게이밍이나 자율주행 분야를 통해서요. 테슬라의 반자율주행과 그 외 기업들과 더불어서 말이죠. 엔비디아는 이러한 낯선 시도들은 개혁이라 보기 어려운 겁니까?

A(Jim Keller): 엔비디아가 내놓는 AI 하드웨어들은 기술적으로는 흥미롭습니다. 하지만 말도 안되게 소모전력량이 높죠(*3,000와트). 1,000W에 한 3,000달러 정도 하는 GPU 플랫폼이죠.(*엔비디아 측은 ORIN 플랫폼을 800W로 제시한 바 있음)


Q(Lex): 기술적으로는 흥미로운데 ‘엔비디아가 개혁하는 것은 아니다’... 이 분야 전문가시니 그 시선으로 말씀하시는 건지. 모르겠네요. 잘 이해가 안 갑니다.

A(Jim Keller): 그들은 자율주행 솔루션을 위해 GPU를 ‘용도 변경’ 한 겁니다.


Q(Lex): 예, 그건 피벗이라 보기 어렵죠.

A(Jim Keller): 그들은 처음부터 재구축하지 않았습니다.

Q(Lex): 예

A(Jim Keller): 테슬라의 내부 칩들은 모빌아이가 하는 것처럼 하드웨어의 값은 쌉니다.(*HW보다 SW에 치중하는 방식). 테슬라, 모빌아이는 하드웨어는 단순하고 고전적으로 작업합니다.(*HW<SW 치중) 테슬라, 모빌아이는 40mil 제곱 밀리미터의 칩만 만들고(+ *그 위에 소프트웨어에 신경을 쓴다)
그에 비해 엔비디아 솔루션은 2개의 800mil 칩, 2개의 200mil 칩들을 포함하죠. 그것도 비싼 디램을 박아서 말입니다. 테슬라, 모빌아이/엔비디아는 자율주행 솔루션에 너무나 다르게 접근하고 있습니다.

모빌아이는 차량 비용과 폼택터에 적합하다고 한다면 경제적을 실행가능한 기능을 추가했으니까요. 이에 비해 엔비디아는 (연산력에서) 누구보다 크게 가자. 자율주행에서 잘 돌아가게 해 주겠다. 고 말한 셈이죠. 엔비디아의 이런 태도에 웨이모, 자율주행 신생 기업들이 영향을 받았죠. 트렁크에 5,000와트 서버를 싣기도 하구요(*기업들이 전력량 신경 덜 씀) 이것은 ‘운전사’를 대체하는 큰 일이기 때문에 (*차량당) 5,000와트, 10,000 달러나 투자하는 것이 괜찮다고 생각하기 때문이죠.
일론의 방식은 일단 하드웨어가 충분히 저렴해야 한다는 것입니다. 모든 테슬라 차량들이 ‘나중에 자율주행 S/W를 살지 말지 관계없이’요 (*일론은 값비싼 자율주행 H/W는 의미가 없다는 뜻)


Q(Lex): 테슬라가 Dojo에 쏟아붓는 노력에 대해 어떻게 생각하시나요? 테슬라 전체보다 커질 수도 있는데요. 이는 당신의 Tenstorrent과 비슷합니다. 처음부터 자체 신경망 훈련 하드웨어를 구축하려는(*Tenstorrent) 것과 기업 자체를 ‘딥러닝’ 기업으로 만들려는 혁신(*테슬라 Dojo)면에서요.

A(Jim Keller): 먼저 이 시도들이 훌륭하다고 생각합니다. 우린 많은 실험이 필요하죠. 많은 기업들이 딥러닝에 뛰어들고 있고, 각자의 것들을 추구하고 있습니다. Dojo를 시작할 때 저도 테슬라에 있었는데요. 이는 규모가 매우 큰 딥러닝 훈련 문제를 해결하기 위한 컴퓨터 솔루선과 같았습니다. 재미있는 일들이 있었습니다. 우리는 1만 와트나 소모하는 보드를 냉각시켜야 했는데 SpaceX 멤버들에게 가서 물어보면 1만 와트는 큰 숫자가 아니라 정말 작은 숫자라고 하더군요. Dojo를 작업하는 뛰어난 엔지니어들이 있는데 과연 어떤 결과물이 나올지 궁금합니다. 제가 테슬라를 떠난 후 그들은 Dojo를 수 차례 피벗(*수정)했기 때문에 뭔가 말해줄 수 있는 게 없네요.


Q(Lex): (Dojo와 같은 슈퍼 컴퓨터에는) 냉각장치도 큰 문제겠네요. 일론이 했던 한 표현이 마음에 듭니다. 겉으로는 좋아보이는 대안이 있다 해도 현재 작업보다 훨씬 낫지 않는다면 그 대안을 채택하지 않는다는 표현이 말이죠. 발열 문제를 해결하기 위해 연산력을 떨어뜨리며 GPU를 부족하게 하지 않는다는 뜻이겠죠.

A(Jim Keller): 예, 또 다른 방면으로는 테슬라 자율주행 하드웨어는 ‘하나의’ 소프트웨어 스택만 제공합니다.(Stack-S/W 개발을 위한 하위 시스템, 구성 요소) 그리고 하드웨어팀과 소프트웨어팀이 긴밀히 연결되어 있죠. 범용 인공지능 솔루션(*Dojo)을 구축하면 그야말로 온갖 비즈니스에 사용할 수 있습니다.
Andrej(*테슬라 AI Director)와 저는 이것이 놀라운 일이라 생각하는 데 10년 전만 해도 비전 추천(*시각정보 추천)과 언어는 완전히 다른 분야였습니다. 비전 데이터와 언어는 서로 ‘말이 안 통하는’ 관계였고, 불과 3년 전만 해도 비전 데이터와 언어는 모든 신경망에는 속했지만 ‘아주 다른 신경망’이었죠. 최근에는 이들이 한 셋트의 네트워크에서 처리할 수 있게 수렴합니다. 데이터가 크기와 출력에 따라 다양하지만 이 기술은 상당히 잘 수렴되었습니다.


Q(Lex): 예, GPT-3 이후 이 트랜스포머들은 시각 데이터에 적용할 수 있고 다양한 분야에 적요할 수 있다고 봅니다. 게다가 간단하게 말이죠.

A(Jim Keller): 말 그대로 문자를 픽셀로 대체하는 것과 같습니다. 비전 데이터를 문자로 대체할 수도 있구요. 이건 놀라운 일입니다. 그래서....


Q(Lex): 그리고 데이터량이 딥러닝을 더 개선하죠. 더 많은 컴퓨팅을 통해 더 정교한 딥러닝을 얻을 수 있어요.

A(Jim Keller): 데이터가 많을수록 더 좋은 결과를 얻을 수 있습니다. 데이터가 많은 것이 딥러닝에 근본적인 것일지도 모르지만, 많은 데이터는 딥러닝 연산에 대한 근본적인 이해를 돕기 위해 ‘거쳐가는’ 또 다른 단계가 될 지도 모릅니다. 정말 흥미로운 이야깁니다.