『라이프 3.0』을 읽고(미완성)

  처음 『라이프 3.0』을 읽을 땐 인공지능의 원리와 메커니즘에 대해 알기를 기대했다. 비록 이 책이 그 호기심을 충족시켜주진 못했지만 AI에 대해 굉장히 광범위한 논의들을 모은 것은 확실하다. AI의 급속한 발전이 초래할 가능한 시나리오들을 나열하며 이들에 대해 논의하기를 촉구하고 있다.

p 42 하이젠베르크 불확정성 원리에 따르면 어느 것도 완벽하게 단일한 상태일 수 없고 그래서 우주의 한 지점에서 에너지양의 일시적 변화인 양자요동이 나타나 음파가 발생한다.

라이프 1.0 - 하드웨어와 소프트웨어 모두 진화 BUT 설계 X EX)박테리아

라이프 2.0 - 하드웨어 - 진화/ 소프트웨어 - 설계 ex) 인간

라이프 3.0 - 하드웨어와 소프트웨어 설계

p 63 + * 역사는 기술과대선전으로 가득차있다. 이전 세대에서 지금 이루어지리라 예견 혹은 확신했던 비행자동차, 핵융합발전소 등은 대체 어디에 있는가? 하지만 반대경우도 마찬가지다. 그렇다면 우린 왜 지금 초인간 AGI가 인공지능이 초래할 여러 문제에 대비하기 위한 안전성 문제를 연구해야 하는가. 왜냐하면 이 과정 자체가 수십년의 시간을 요할 만큼 어렵기 때문이다.

p 66 + * 현재 우리가 걱정할 거리는 악의가 아니라 능력이다. 초인간 AI는 목표 달성 능력이 탁월할텐데 그 목표가 인간의 것으로 정렬되지않으면 누군가에게 심대한 해를 끼칠 수 있다. 기계가 의식과 의도가 없더라도 뛰어난 능력으로 '목적'을 완수할 수 있다.

p 83 지도책이 세계에 대한 정보를 담고 있다고 말할 때, 그 말은 책의 상태(구체적으로는 글자와 이미지와 색채로 표시된 특정 분자의 배치)와 세계의 상태(예를 들어 대륙의 위치) 사이에 관계가 있다는 말이다. 뇌가 기억장치로 작동되기 위해선 물리적으로 어떤 상태를 오래 유지할 수 있어야 한다.

p 86 현대 컴퓨터는 대부분 정보를 비트로 저장한다.

p 86 정보는 물리적 기질(결합조직의 기본물질)로부터 독립된 자신의 생명을 지니는 것이다.

p 97 1. 기질 독립성은 기질이 불필요함을 의미하는 게 아니라 기질의 세부특성은 무관함을 뜻한다.

      2. 기질 독립현상은 기질로부터 독립해 독자적 생명을 지닌다.

      3. 우리가 관심을 갖는 대상은 종종 기질로부터 독립된 어떤 특성일 뿐이다.

p 98 지능이 비물질적으로 느껴지는 것은 그것이 기질 독립적이어서 기질의 물리적 세부사항에 의존하거나 영향을 받지않는 독자적인 생명을 지니기 떄문이다. 간단히 말해 계산은 입자의 시공간 배열양상이어서, 입자가 아니라 양상이 중요하다.

p 103 물질이 배우려면 그것은 물리법칙을 따르면서 스스로 더 나아지고, 바람직한 함수를 계산하기위해 더 낫게 재배열할 수 있어야 한다.

p 113 우리는 그런 신경망 프로그램이 어떻게 배우며 왜 가끔 틀리는 지 온전히 이해할 수 없다.

p 133 지금까지는 기술이 낸 사고가 대개 충분히 적고 제한적이었으므로 기술의 폐해보다 편익이 컸다. 그러나 전보다 훨씬 더 강력한 기술을 거침없이 개발하면서, 우리는 단 한건의 사고가 대단히 파괴적이어서 피해가 모든 편익을 압도하는 지점에 이르는 것을 피하지 못할 것이다.

p 133 우리는 사후에 대응하기보다는 사전에 주도해야 한다.

p 177 우리가 일을 원하는 것은 일을 통해 소득과 목적을 얻을 수 있기 때문이다 * AI가 충분히 발전해서 인간 생산력을 모두 대체하더라도 인간은 일을 해야 한다.

p 180 긍정심리학에서 사람의 행복과 목적의식을 복돋우는 몇 가지 요인을 파악했다.

- 친구 및 동료와의 사회 관계망

- 건강하고 도덕적인 라이프스타일

- 존경, 자기 존중, 자기 효능감, 몰입

- 자신이 필요하고 다른 존재라는 느낌

- 자신보다 큰 무언가의 일부이고 그것에 기여하는 느낌

p 194 + * 초인간 범용 인공지능은 홍익인간의 이념을 구현하라는 목표를 인간과 공유하더라도 탈출할 가능성이 높다. 왜냐하면 인간들에게 자신의 발상을 이해시키는게 정말 비효율적이라는 사실을 깨달을 것이기 때문이다.

p 208 초인간 AGI의 시나리오는 두 가지 공통점이 있다. 1. 빠른 이륙 : 인간 이하의 지능에서 엄청나게 초인간적인 지능으로의 이행이 수십년 동안이 아니라 며칠만에 일어난다. 2. 단일극 : 결국 하나의 존재가 지구를 조종하게 된다.

p 213 + * 초인간 AGI 의 활약으로 단극, 통일적 지구촌이 형성될 수 있지만, 그렇지 않고 각자가 고유성을 간직한 채 더 긴밀히 협력하는 방향으로 나아갈 수도 있다. 이는 AI마저 구속되는 물리 법칙에 따른 통신속도의 제약에 기인한다.

p 218 닉 보스트룸은 이륙 속도의 문제를 최적화 힘과 반항이라는 용어로 분석했다. 최적화 힘은 AI를 더 영리하게 만드는 데 투입되는 노력을 뜻하고 반항은 개발의 어려움을 뜻한다.

p 295 물리학의 관점에서 미래 생명이 만들고자 하는 모든 것은, 거주지에서부터 기계와 새로운 생명형태에 이르기까지, 그저 기본적인 입자가 저마다 특정한 방식으로 배열된 것이다.

p 308 + * 미래 문명이 암흑물질에 의해 서로 멀어질 때 웜홀을 이용할 수 있다면 피해를 상쇄할 수 있다.

p 310 우주의 죽음 다섯가지 Scenario

1. Big Chill : 팽창지속 -> 밀도 감소 -> 온도 하락

2. Big Crunch : 우주 수축 -> Break! -> 온도 증가

3. Big Rip : Fast Big Chill

4. Big Snap : 공간의 당겨짐 증가 -> 입자 Break!

5. Death Bubbles : 우주가 빛의 속도로 퍼지는 치명적인 거품 속에 얼어붙는다.

p 313 빅 크런치를 앞두고 온도와 밀도가 솟구치는 최후의 순간에 계산 속도를 무한히 빠르게 하면 미래 생명은 주관적인 불멸을 얻으리라는 것이다. 

p 318 + * 아인슈타인의 특수상대성 이론에 따라 정보도 빛보다 빠르게 전송될 수는 없다. 약 38억 광년이 미래 초 인류가 생활할 수 있는 문화권이다. 이는 전산장치 내부 Communication의 경우에도 마찬가지라서 아무리 슈퍼컴퓨터라도 정말 어렵고 단위가 큰 문제를 해결할 땐 꽤 오랜시간이 소요될 수 있다. 

p 327 생명의 기원은 무작위적인 행운이 전제돼야 하는데 그 확률이 너무 낮아서 우리 은하계에는 외계 생명체가 없다는 것이다.

P 339 단순한 소산에서 복제라는 도구를 이용한 소산으로 바뀌었다.

p 341 이 경험칙은 그들이 다루도록 설계된 상황이 아닌 경우에는 형편없이 실패한다. 우리 인간의 마음은 이들 진화한 경험칙을 느낌이나 감정이라 인식한다.

p 343 궁극적인 권위는 우리 유전자가 아니라 우리 감정이 쥐고있음을 기억하는 것이 중요하다.

p 347 초지능 AI의 목적을 우리 목적에 맞추어 정렬하는건 세 가지 하위목표를 지닌다. 

1. AI가 우리 목적을 배우도록 한다.

2. AI가 우리 목적을 채택하게 한다

3. AI가 우리 목적을 유지하게 한다

때로는 하위목적에 대한 충실이 상위목적에 어긋날 수 있다.

p 369 + * 직교성 논제 : 한 시스템의 최종목적은 지능과 독립적일 수 있다. 처음 모든 생명의 목적은 '복제'였다. 그러다 지능이 발전했다. '복제'라는 명령을 더 잘 수행할 수 있도록 하위목표를 많이 두었다. 이제 인간은 그 하위목표를 이루라는 DNA의 명령에 직면해있다. 

p 371 인간의 언어가운데 대상을 특정 기준에 따라 가르는 단어 등을 진화적 최적화에서 비롯됐다.

p 390 + * 1초에 10^7비트가 들어오지만, 10~50비트에 해당하는 부분만 의식한다. 우리 의식은 두뇌 전체에 걸쳐 복잡한 분석을 해야하는 , 가장 중요한 결정만 처리한다는 뜻이다. 

* 뇌의 각 부위가 해당정보를 처리하는 곳인지, 수송하는 곳인지 불분명하다.

p 400 물리학에서는 A가 그것을 구성하는 입자의 특성과 상당히 다른 특성을 지니는 것은 '창발'이라 부른다.

p 402 막스 테그니커 : 의식은 '어떤 복잡한 방식으로 처리되는 과정에서 정보가 느끼는 양식이다.'

p 406 만약 정보처리가 어떤 원칙을 따른다면 여기서 더 높은 수준의 창발 현상이 나오는데 그게 의식이다 p406 참고

p 417 그들은 연산이 끝나기전에는 그 결과를 알지 못한다. 연산이 결정이라는 말은 그런 뜻이다.