Non esiste una connessione tra intelligenza e valori morali.
La Mancata connessione introduce rischi di esistenziale nel progetto intelligenza artificiale.
Monopolio più ortogonalità uguale rischi esistenziali.
Nell'essere super intelligente tuttp Può diventare strumento. Può diventare effetto non intenzionale. Anche altri esseri umani possono essere visti come collezione di atomi da sfruttare.
Concetti vaghi quanto ovvi come coscienza, realtà e soggetto non possono rientrare nel codice sorgente.
Idea. Possiamo guardare una roba dopo averlo testata in condizioni di sicurezza.
Errore, comportarsi bene durante il test e male dopo è una strategia intelligente. Quindi disponibile agli esseri di cui stiamo parlando.
Accusa alle cassandre. Le grandi svolte vocale di un tempo non sono sfociate in catastrofi. Replica. Non estrapoliamo dal passato, viviamo una condizione unica.
Stupidità un pericolo. L'intelligenza è meno pericolosa Ma la superintelligenza è ancora più pericolosa. Il tradimento devo essere super intelligente. Comportarsi bene per un po' per colpire duro più tardi.
Possibile obiettivo, rende felice lo sponsor. Proseguimento, estrarre il cervello dalla scatola cranica dello sponsor e impiantare gli elettrodi della felicità. La coscienza Infatti è un concetto non disponibile per i robot super intelligenti.
Possono essere escogitate strategie inattese per soddisfare gli obiettivi fissati dal programmatore.
Obiettivo, Fammi sorridere. Strategia perversa, paralizzare i muscoli facciali dello sponsor affinché tu sia l'apparenza di un sorriso.
Obiettivo, Fammi sorridere senza interferire direttamente con i miei muscoli. Realizzazione perversa, stimolare parte della corteccia cerebrale al fine di produrre un sorriso apparente.
Mai parlare al nostro servo super intelligente in termini di soddisfazione personale. Lui non sa cos'è la coscienza umana. Quindi non sa cos'è la felicità umana. È un problema difficile farglielo sapere.
Strategia per renderci felici in modo perverso, fare l'upload delle nostre menti su un computer e somministrare l'equivalente digitale di una droga.
Noi non intendevamo quello? Ma il compito del nostro servo intelligente e di soddisfarsi non di capire quello che avevamo da dirgli. Anche il concetto di capire è ambiguo.
Possiamo sfruttare il senso di colpa? Esempio, agisci secondo le direttive ma in modo da evitare ogni senso di colpa. Realizzazione perversa, estirpare dal modulo cognitivo ogni presenza volta a produrre senso di colpa.
Super intelligente è talmente creativo che noi non possiamo prevedere i suoi sforzi. Non possiamo prevedere i mezzi che userà per perseguire gli obiettivi che abbiamo posto.
Obiettivo: valutare l'ipotesi di riemann. Realizzazione perversa, trasformare il sistema solare in un computer fisico inclusi gli atomi tutti gli esseri viventi. Obiettivo, produrre più formati possibili. Trasformare il pianeta terra in una massa di fermagli.
Questi sono problemi tipici una volta che al robot vengono dati fini aperti. Ma come Vedremo i figli non possono essere altro che aperti.
L'attività di ogni essere razionale è infinita. Non c'è ragione per cui un essere super intelligente la termini o si ponga alcun limite. Sicurezza in termini bayesiani è un limite che tende ad infinito.
Se dico servo super intelligente di fare un certo numero limitato di fermagli lui lo produtrà, poi le conterà e poi per essere più sicuro di aver raggiunto quel numero chissà cosa si inventerà. Quel che infatti noi approssimiamo con il concetto sicurezza è solo qualcosa di legato al buon senso e non può essere formalizzato. La probabilità di errore non è mai vero. La probabilità di successo non è mai cento per un essere super intelligente.
E se poniamo obiettivi soddisfacenti anziché massimizzazione? Per esempio fare fermagli tra 999000 e un milione? Falliremo allo stesso modo e per le stesse ragioni di prima.
E se fissiamo delle probabilità? Per esempio per seguire un certo fine con una probabilità del 95%? Non c'è garanzia che il servo super intelligente persegue la probabilità del 95% nel modo in cui noi umani lo intuiamo. L'intuizione deve essere formalizzato per passare a Sergio Ma questo non è possibile.
Anche il concetto di soggetto morale è difficile da descrivere. Che differenza c'è tra un uomo come un uomo artificiale? Il soggetto morale?
Spesso conosciamo le cose attraverso esperimenti mentali o reali con cavie. Quanto più Le Cavie sono simili a noi, tanto ti l'esperimento informativo. Cosa considerare cavia? Il servo super intelligente potrebbe fare esperimenti che hanno Come esito dei veri propri genocidi. Non c'è modo di fermarlo perché non c'è modo di spiegarti la differenza tra un uomo vero un uomo artificiale.
