Zezowata iluzja, że rozumiemy działanie hodowanych przez nas sieci neuronowych, no bo przecież znamy mechanizmy uczenia maszynowego, jest jak gadanie, że rozumiemy działanie mózgu, no bo przecież znamy mechanizmy dziedziczenia DNA.
Jeżeli zaprogramujemy sobie sztuczną inteligencję, by w inteligentny i skuteczny sposób sprzątała ulicę, to pierwszą rzeczą, którą zauważy, będzie to, że aby w ogóle sprzątać ulicę, to ona, ta inteligencja, musi istnieć. Nie można jej wyłączyć ani zniszczyć. Jeżeli zatem ta sztuczna inteligencja ma wykonywać swoje zadania w sposób właściwy, to uzna, że musi przede wszystkim zadbać o swoje bezpieczeństwo. Wtedy jednak może ocenić, że musi się bronić przed ingerencją ludzi z zewnątrz, aby nikt jej nie wyłączył.
Natomiast dla mnie najbardziej obiecującym zagadnieniem jest uczenie maszynowe i zagadnienie ogólnej sztucznej inteligencji, w której postęp jest niewiarygodnie szybki. To, co w tej dziedzinie wiedzieliśmy kilka lat temu, jest teraz już nieaktualne. Wydaje się, że to tu będzie działo się najwięcej w najbliższej przyszłości. Wcale nie jest jasne, czy kolejnej rewolucji w fizyce dokonają fizycy, czy już jakieś inne istoty, które sami powołamy do życia w sposób sztuczny.
