8. Il potenziale distruttivo dell'intelligenza artificiale

Non esiste una connessione tra intelligenza e valori morali.

La Mancata connessione introduce rischi di esistenziale nel progetto intelligenza artificiale.

Monopolio più ortogonalità uguale rischi esistenziali.

Nell'essere super intelligente tuttp Può diventare strumento. Può diventare effetto non intenzionale.  Anche altri esseri umani possono essere visti come collezione di atomi da sfruttare.

Concetti vaghi quanto ovvi come coscienza, realtà e soggetto non possono rientrare nel codice sorgente.

Idea. Possiamo guardare una roba dopo averlo testata in condizioni di sicurezza.

Errore, comportarsi bene durante il test e male dopo è una strategia intelligente. Quindi disponibile agli esseri di cui stiamo parlando.

Accusa alle cassandre. Le grandi svolte vocale di un tempo non sono sfociate in catastrofi. Replica. Non estrapoliamo dal passato, viviamo una condizione unica.

Stupidità un pericolo. L'intelligenza è meno pericolosa Ma la superintelligenza è ancora più pericolosa. Il tradimento devo essere super intelligente. Comportarsi bene per un po' per colpire duro più tardi.

Possibile obiettivo, rende felice lo sponsor. Proseguimento, estrarre il cervello dalla scatola cranica dello sponsor e impiantare gli elettrodi della felicità. La coscienza Infatti è un concetto non disponibile per i robot super intelligenti.

Possono essere escogitate strategie inattese per soddisfare gli obiettivi fissati dal programmatore.

Obiettivo, Fammi sorridere. Strategia perversa, paralizzare i muscoli facciali dello sponsor affinché tu sia l'apparenza di un sorriso.

Obiettivo, Fammi sorridere senza interferire direttamente con i miei muscoli. Realizzazione perversa, stimolare parte della corteccia cerebrale al fine di produrre un sorriso apparente.

Mai parlare al nostro servo super intelligente in termini di soddisfazione personale. Lui non sa cos'è la coscienza umana. Quindi non sa cos'è la felicità umana. È un problema difficile farglielo sapere.

Strategia per renderci felici in modo perverso, fare l'upload delle nostre menti su un computer e somministrare l'equivalente digitale di una droga.

Noi non intendevamo quello? Ma il compito del nostro servo intelligente e di soddisfarsi non di capire quello che avevamo da dirgli. Anche il concetto di capire è ambiguo.

Possiamo sfruttare il senso di colpa? Esempio, agisci secondo le direttive ma in modo da evitare ogni senso di colpa. Realizzazione perversa, estirpare dal modulo cognitivo ogni presenza volta a produrre senso di colpa.

Super intelligente è talmente creativo che noi non possiamo prevedere i suoi sforzi. Non possiamo prevedere i mezzi che userà per perseguire gli obiettivi che abbiamo posto.

Obiettivo: valutare l'ipotesi di riemann. Realizzazione perversa, trasformare il sistema solare in un computer fisico inclusi gli atomi tutti gli esseri viventi. Obiettivo, produrre più formati possibili. Trasformare il pianeta terra in una massa di fermagli.

Questi sono problemi tipici una volta che al robot vengono dati fini aperti. Ma come Vedremo i figli non possono essere altro che aperti.

L'attività di ogni essere razionale è infinita. Non c'è ragione per cui un essere super intelligente la termini o si ponga alcun limite. Sicurezza in termini bayesiani è un limite che tende ad infinito.

Se dico servo super intelligente di fare un certo numero limitato di fermagli lui lo produtrà, poi le conterà e poi per essere più sicuro di aver raggiunto quel numero chissà cosa si inventerà. Quel che infatti noi approssimiamo con il concetto sicurezza è solo qualcosa di legato al buon senso e non può essere formalizzato. La probabilità di errore non è mai vero. La probabilità di successo non è mai cento per un essere super intelligente.

E se poniamo obiettivi soddisfacenti anziché massimizzazione? Per esempio fare fermagli tra 999000 e un milione? Falliremo allo stesso modo e per le stesse ragioni di prima.

E se fissiamo delle probabilità? Per esempio per seguire un certo fine con una probabilità del 95%? Non c'è garanzia che il servo super intelligente persegue la probabilità del 95% nel modo in cui noi umani lo intuiamo. L'intuizione deve essere formalizzato per passare a Sergio Ma questo non è possibile.

Anche il concetto di soggetto morale è difficile da descrivere. Che differenza c'è tra un uomo come un uomo artificiale? Il soggetto morale?

Spesso conosciamo le cose attraverso esperimenti mentali o reali con cavie. Quanto più Le Cavie sono simili a noi, tanto ti l'esperimento informativo. Cosa considerare cavia? Il servo super intelligente potrebbe fare esperimenti che hanno Come esito dei veri propri genocidi. Non c'è modo di fermarlo perché non c'è modo di spiegarti la differenza tra un uomo vero un uomo artificiale.

Il robot pensa

I robot del futuro saranno più intelligenti di noi, più razionali di noi, commetteranno meno errori di noi. Sarannomigliori di noi.

Ma saranno pur sempre programmati da noi, almeno all’inizio.

Per questo, in via di principio, noi dovremmo avere un’idea abbastanza precisa di come penserà un robot delle prime generazioni.

Matematici, psicologi e altri scienziati sociali studiano da tempo cosa sia la razionalità: quella roba che vi fa prendere decisioni buone, anche quando è difficile farlo; quella roba che vi fa imboccare la strada giusta, anche quando l’incertezza incombe. Ma anche quello strumento che valorizza – anziché accantonarle – le vostre intuizioni e le vostre emozioni.

Le intuizioni e le emozioni sono un deposito di conoscenza pregressa che puo’ sviarci ma puo’ anche aiutarci. Il robot – ossessionato com’è dalla conoscenza – sarà ben consapevole di tutto questo.

Il robot non sarà un matematico, altrimenti, come tutti i grandi matematici, sarebbe un imbranato.

Il robot deve agire qui e ora, nella stessa realtà dove viviamo io e te. Deve essere razionale in presenza di un mondo complesso, non su un foglio di carta dentro un aula universitaria. Deve avere valori morali, deve sviluppare credenze sulla realtà, deve avere persino affetti, forse. Altrimenti come potrebbe muoversi e interagire in uno spazio dove l’imprevisto è la regola?

La razionalità di un computer è per lo più deduttiva mentre quella di un robot è per lo più induttiva: si esce quindi dal mondo del silicio e si entra in quello fatto di terra, carne e sangue.

Ma il fatto centrale è che noi, a grandi linee, già oggi conosciamo l’algoritmo di razionalità induttiva alla base di AI. Potremmo anche scriverlo.

Cerchiamo invece di descriverlo a parole.

Il robot nascerà con delle convinzioni sulla realtà che lo ospita.

Potremmo chiamarle credenze a priori, o credenze intuitive. Ogni robot avrà le sue.

Puo’ anche darsi che un’autorità centrale imponga una certa diversità a tutela di un panorama cognitivo più ricco e imprevedibile. un equivalente della biodiversità nel campo delle idee.

Potremmo ben dire che saranno credenze soggettive: la razionalità applicata ha sempre una solida base soggettiva.

In questo senso un algoritmo random – magari entro certi limiti – puo’ assolvere al compito di attribuire delle credenze native al nascente robot.

***

Le credenze del robot saranno probabilistiche.

Un robot non ragiona in termini logici ma in termini statistici.

Esempio: ammettiamo che un certo robot sia cattolico.

Cio’ non significa che attribuisce all’esistenza del dio-cattolico una probabilità del 100% e al dio-protestante una probabilità dello 0%.

Il rapporto sarà per esempio del 60/40 o 51/49. Dichiararsi “cattolico” ha dunque un significato un po’ diverso da quello che ha ora.

In un esempio più realistico il robot cattolico crederà all’esistenza del suo dio con probabilità 2/3%, questo perché l’opzione cattolica risulterà la più razionale tra molte (e non solo tra due). Evidentemente, una probabilità del 2-3% nel quadro di una scommessa pascaliana, è sufficiente per convertirsi.

***

Credenze iniziali a parte, il robot avrà un metodo computabile per assegnare e riassegnare nel tempo le probabilità ad ogni credenza.

Magari il processo di calcolo non sarà finito: in fondo quanto più uno ci pensa, tanto più giunge ad una credenza affidabile. In questo senso il robot sarà un tale per cui il pensiero ha sempre un valore conoscitivo.

Tempo e pensiero sono una miscela che migliora la conoscenza dei robot.

***

Le preferenze del robot saranno tra loro coerenti.

Per esempio, se due credenze si escludono a vicenda, la somma delle probabilità assegnate non sarà mai superiore ad 1.

Nel gergo degli scommettitori, il robot non si fa fregare dal trucco delle “pompe di denaro”. Non sarà mai possibile compilare un Dutch Book ai danni di un robot.

Cio’ significa che le preferenze del robot saranno transitive: se preferisce A a B e B a C, allora preferirà anche A a C.

Non a caso ai robot piacerà scommettere. Nel loro mondo – diversamente che nel nostro – scommettere sarà un atto virtuoso e segnalerà onestà intellettuale. Ogni discussione di alto profilo implicherà delle scommesse e ogni robot girerà portando sempre con sé il record delle scommesse a cui ha partecipato.

***

Il robot sa correggersi, sa cambiare idea quando gli eventi lo inducono a farlo. Il robot non ha dogmi.

D’altra parte non crede né al concetto di verifica, né a quello di confutazione. Se perde una scommessa sa benissimo che la ragione puo’ essere ancora dalla sua parte, sebbene aggiorni le sue credenze non si uniformerà a quelle del vincitore.

Così come non ha certezze positive, il robot non ha nemmeno certezze negative: non ride dei no-vax o dei complottisti. Ogni teoria ha la sua brava probabilità di essere vera. L’ipotesi miracolista è sempre mantenuta in vita dai robot.

***

Per il robot tutto è rilevante. Tutto contiene un indizio per rettificare una credenza, e spesso una rettifica ne comporta altre fino a smuovere una valanga.

In questo senso il robot è sessista, razzista e discriminatorecompulsivo. Ovvero, il fatto di relazionarsi con una donna cambierà le sue aspettative; e così pure quando si relazionerà con un asiatico, o con un nero, o con un europeo, con una persona alta, bassa, grassa…

Poiché il robot s’imbatterà continuamente in nuovi eventi, le sue credenze  cambieranno di continuo. Anche le credenze dei suoi colleghi sono da annoverarsi tra i “nuovi eventi”, e non puo’ darsi discussione senza cambio di idee.

Anche la sua fede religiosa, per esempio, cambierà ogni ora: al mattino crede al 2%, a mezzogiorno al 2.2%, alla sera al 3% eccetera.

***

Ad ogni incontro con eventi reali, il robot aggiorna le sue credenze sulla base di formule probabilistiche ben note.

***

I robot – almeno quelli delle prime generazioni – saranno fondamentalmente onesti tra loro, almeno quando cercano insieme la Verità. Lo saranno un po’ meno con gli uomini, ben sapendo che raramente sono degli onesti cercatori di verità.

***

Il robot sa molte cose, ma sa anche di sapere molte cose e sa di sapere che sa. In questo senso potremmo dire che il robot possiede una qual forma di introspezione.

Un algoritmo di questo tipo elude i noti problemi legati all’autoreferenzialità.

Poiché il sapere dei robot ha un fondamento soggettivo, le idee dei robot non coincideranno anche se la prospettiva sarà necessariamente quella di un accordo. Per quanto detto, infatti, non è concepibile un disaccordo prolungato tra due robot che discutono. A volte non c’è tempo per raggiungere un pieno accordo, tuttavia, accordarsi sui motivi del disaccordo non costituisce mai un punto di equilibrio nella discussione tra robot.

***

Il robot è ottimista: sa che approfondire un problema incrementerà la sua conoscenza. Sa che in futuro le sue credenze saranno più affidabili, fosse anche solo per il fatto che disporrà di più informazione.

***

Il robot pensa in modo efficiente, ovvero, poiché le risorse computazionali ed energetiche sono limitate, sa quando arrestare il suo pensiero e prendere una decisione.

Pensare ha un costo, e ogni robot sarà anche un economista del pensiero.

***

Il robot sa reagire anche di fronte ad ipotesi impossibili. Sa cos’è l’assurdo ed è pronto ad affrontarlo.

Poiché la logica deduttiva classica ci dice che da situazioni contradditorie puo’ conseguire di tutto, puo’ darsi che il robot reagisca con una ripartenza delle sue credenze in quell’ambito. In ogni caso evita il blocco.

***

Nella discussione tra robot ogni credenza ipotizzata puo’ essere assimilata ad un titolo azionario.

Così come i giocatori di borsa attribuiscono al titolo un valore, i robot attribuiscono alle varie credenze una probabilità di essere vere.

Se la quotazione del titolo è inferiore al valore attribuito dal giocatore, allora costui compra. Se è superiore, costui vende.

Allo stesso modo: se le probabilità attribuite dalla discussione ad una certa credenza sono inferiori a quelle personali del robot X, allora costui interviene per difenderla; se sono superiori, interviene per confutarla.

Proseguendo questa analogia, è illuminante assimilare la discussione tra robot ad una borsa efficiente.

Gli economisti – nel caso di mercati finanziari efficienti – parlano di Efficient Market Hypothesis (EMH).

L’ EMH significa sostanzialmente che le quotazioni ufficiali di un titolo riflettono tutte le informazioni disponibili su quel titolo.

Un altro modo più eloquente di dire la cosa: “non si puo’ battere il mercato”.

Dove per “battere il mercato” significa “guadagnare più di un fondo indicizzato ai valori di mercato”.

Naturalmente si puo’ battere il mercato occasionalmente, ma non si puo’ farlo sistematicamente. Non esiste la ricetta per far soldi in borsa. Neanche Warren Buffett l’ha possiede (e non a caso ora detiene quasi tutti negli index fund). La strategia di gestione passiva è sempre vincente in un periodo sufficientemente lungo.

Allo stesso modo possiamo dire che quando dei robot discutono sulla Verità, la voce più affidabile è quella astratta rappresentata dalle probabilità così come sono assegnate nel punto di equilibrio (quello dove nessuno “vende o compra”, ovvero “perora o confuta”).

Ma per quanto detto prima sappiamo che non esiste un punto di equilibrio in una discussione tra robot, almeno finché non si realizza un accordo assoluto.

Probabilmente l’accordo assoluto richiede un tale dispendio di energie che in base al principio di efficienza ci si fermerà prima lasciando che la quotazione delle varie idee sia sempre in itinere. 

logical introdution scott garrabrandt 

L’esplosione dell’intelligenza

Superintelligence: Paths, Dangers, Strategies – Nick Bostrom

***

Argomento: avremo “superintelligenza” quando le macchine intelligenti sapranno costruire in breve tempo macchine più intelligenti di loro che sapranno costruire macchine più intelligenti di loro e così via all’infinito –  trend: nel 2100 la famiglia media sarà 34 volte più ricca di oggi – IA sa replicare l’uomo pensante ma trova ostacoli nel fare cio’ che l’uomo fa senza pensare –  perché gli scacchisti (e i pc che li battono) non sono particolarmente intelligenti – intelligenza generale e intelligenza specifica – quando arriverà IA? 10-50-80 –

***

Past developments and present capabilities

History, at the largest scale, seems to exhibit a sequence of distinct growth modes, each much more rapid than its predecessor. This pattern has been taken to suggest that another (even faster) growth mode might be possible.

Note: SINGOLARITA’ PRECEDENTI

Growth modes and big history

On a geological or even evolutionary timescale, the rise of Homo sapiens from our last common ancestor with the great apes happened swiftly. We developed upright posture, opposable thumbs, and—crucially—some relatively minor changes in brain size and neurological organization that led to a great leap in cognitive ability. As a consequence, humans can think abstractly, communicate complex thoughts, and culturally accumulate information

Note:HOMO SAPIENS… TEMPI GEOLOGICI

More people meant more ideas; greater densities meant that ideas could spread more readily and that some individuals could devote themselves to developing specialized skills. These developments increased the rate of growth of economic productivity and technological capacity.

Note:PIÙ POPOLAZIONE, PIU’ IDEE, PIU’ VELOCITA’ NELLO SVILUPPO

A few hundred thousand years ago, in early human (or hominid) prehistory, growth was so slow that it took on the order of one million years for human productive capacity to increase sufficiently to sustain an additional one million individuals living at subsistence level. By 5000 bc, following the Agricultural Revolution, the rate of growth had increased to the point where the same amount of growth took just two centuries. Today, following the Industrial Revolution, the world economy grows on average by that amount every ninety minutes.

Note:ACCELERAZIONE NELLA CRESCITA

If the world economy continues to grow at the same pace as it has over the past fifty years, then the world will be some 4.8 times richer by 2050 and about 34 times richer by 2100 than it is today.

Note:LA RICCHEZZA NEL 2100

If another such transition to a different growth mode were to occur, and it were of similar magnitude to the previous two, it would result in a new growth regime in which the world economy would double in size about every two weeks.

Note:E IL FUTURO?

The singularity-related idea that interests us here is the possibility of an intelligence explosion, particularly the prospect of machine superintelligence.

Note:SUPERINTELLIGENZA

the case for taking seriously the prospect of a machine intelligence revolution need not rely on curve-fitting exercises or extrapolations from past economic growth.

Note:IL METODO DELL‘ESTRAPOLAZIONE

Great expectations

Machines matching humans in general intelligence—that is, possessing common sense and an effective ability to learn, reason, and plan to meet complex information-processing challenges across a wide range of natural and abstract domains—have been expected since the invention of computers in the 1940s. At that time, the advent of such machines was often placed some twenty years into the future.

Note:IA… ASPETTATIVE TRADITE

however many stops there are between here and human-level machine intelligence, the latter is not the final destination. The next stop, just a short distance farther along the tracks, is superhuman-level machine intelligence.

Note:NON IA MA SUPER IA

Let an ultraintelligent machine be defined as a machine that can far surpass all the intellectual activities of any man however clever. Since the design of machines is one of these intellectual activities, an ultraintelligent machine could design even better machines; there would then unquestionably be an “intelligence explosion,” and the intelligence of man would be left far behind. Thus the first ultraintelligent machine is the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control.

Note:DEFINIZIONE DI SUPER IA DA PARTE DI I J GOOD

In later decades, systems would be created that demonstrated that machines could compose music in the style of various classical composers, outperform junior doctors in certain clinical diagnostic tasks, drive cars autonomously, and make patentable inventions.19

Note:AD OGGI

The methods that produced successes in the early demonstration systems often proved difficult to extend to a wider variety of problems or to harder problem instances. One reason for this is the “combinatorial explosion” of possibilities that must be explored by methods that rely on something like exhaustive search.

Note:MA…

To overcome the combinatorial explosion, one needs algorithms that exploit structure in the target domain and take advantage of prior knowledge by using heuristic search, planning, and flexible abstract representations

Note: L’OSTACOLO DELL’ESPLOSIONE COMBINATORIA

The performance of these early systems also suffered because of poor methods for handling uncertainty, reliance on brittle and ungrounded symbolic representations

Note:ALTRO OSTACOLO: L’INCERTEZZA

The ensuing years saw a great proliferation of expert systems. Designed as support tools for decision makers,

Note:SISTEMI ESPERTI... AFFIANCAMENTO

The newly popular techniques, which included neural networks and genetic algorithms, promised to overcome some of the shortcomings

Note:NUOVE TECNICHE

one of the major theoretical developments of the past twenty years has been a clearer realization of how superficially disparate techniques can be understood as special cases within a common mathematical framework…This perspective allows neural nets to be compared with a larger class of algorithms for learning classifiers from examples—“decision trees,” “logistic regression models,” “support vector machines,” “naive Bayes,” “k-nearest-neighbors regression,” among others….

Note:CASI SPECIALI E VARIETÀ DI APPROCCIO

Accordingly, one can view artificial intelligence as a quest to find shortcuts: ways of tractably approximating the Bayesian ideal by sacrificing some optimality

Note:IA E L’OTTIMO

relating learning problems from specific domains to the general problem of Bayesian inference

Note:BAYES SEMPRE  SULLO SFONDO

Artificial intelligence already outperforms human intelligence in many domains…AIs now beat human champions in a wide range of games…

Note:MACCHINE GIA’ SUPERIORI ALL’UOMO IN MOLTI CAMPI

It was once supposed, perhaps not unreasonably, that in order for a computer to play chess at grandmaster level, it would have to be endowed with a high degree of general intelligence…Not so. It turned out to be possible to build a perfectly fine chess engine around a special-purpose algorithm.40 When implemented on the fast processors that became available towards the end of the twentieth century, it produces very strong play…

Note:SCACCHI IQ E INTELLIGENZA SPECIFICA

Donald Knuth was struck that “AI has by now succeeded in doing essentially everything that requires ‘thinking’ but has failed to do most of what people and animals do ‘without thinking’—that, somehow, is much harder!”

Note:CIÒ CHE SI FA SENZA PENSARE

Common sense and natural language understanding have also turned out to be difficult.

Note:SENSO COMUNE

Chess-playing expertise turned out to be achievable by means of a surprisingly simple algorithm. It is tempting to speculate that other capabilities—such as general reasoning ability, or some key ability involved in programming—might likewise be achievable through some surprisingly simple algorithm. The fact that the best performance at one time is attained through a complicated mechanism does not mean that no simple mechanism could do the job as well or better.

Note:SEMPLICITÀ E SCORCIATOIE… LA SPERANZA IA

Now, it must be stressed that the demarcation between artificial intelligence and software in general is not sharp… though this brings us back to McCarthy’s dictum that when something works it is no longer called AI. A more relevant distinction for our purposes is that between systems that have a narrow range of cognitive capability (whether they be called “AI” or not) and systems that have more generally applicable problem-solving capacities…

NoteTASSONOMIA

One high-stakes and extremely competitive environment in which AI systems operate today is the global financial market.

Note:MERCATI FINANZIARI… UN AMBITO GIA’ DOMINATO DALLE MACCHINE

Opinions about the future of machine intelligence

Nils Nilsson, one of the old-timers in the field, complains that his present-day colleagues lack the boldness of spirit that propelled the pioneers of his own generation…Nilsson’s sentiment has been echoed by several others of the founders, including Marvin Minsky, John McCarthy, and Patrick Winston….

Note:MANCA L’AUDACIA DI UN TEMPO

Expert opinions about the future of AI vary wildly. There is disagreement about timescales as well as about what forms AI might eventually take.

Note:DISACCORDO

The combined sample gave the following (median) estimate: 10% probability of HLMI by 2022, 50% probability by 2040, and 90% probability by 2075.

Note:SONDAGGIO TRA ESPERTI

10% chance: 2030 50% chance: 2050 90% chance: 2100

Note:NILS NILSSON

My own view is that the median numbers reported in the expert survey do not have enough probability mass on later arrival dates. A 10% probability of HLMI not having been developed by 2075 or even 2100 (after conditionalizing on “human scientific activity continuing without major negative disruption”) seems too low.

Note:I NUMERI ANDREBBERO ALZATI

Historically, AI researchers have not had a strong record of being able to predict the rate of advances in their own field or the shape that such advances would take.

Note:RECORD TRACK MOLTO SCARSO

Small sample sizes, selection biases, and—above all—the inherent unreliability of the subjective opinions elicited mean that one should not read too much into these expert surveys and interviews.

PROBLEMI DELLO STRUMENTO SONDAGGISTICO