scott alexander REFRAMING SUPERINTELLIGENCE
riccardo-mariani@libero.it
Citation (APA): riccardo-mariani@libero.it. (2019). scott alexander REFRAMING SUPERINTELLIGENCE [Kindle Android version]. Retrieved from Amazon.com
Parte introduttiva
Evidenzia (giallo) - Posizione 4
REFRAMIN G SUPERIN TELLIGEN CE
Nota - Posizione 4
@@@@@@@senso comune
Nota - Posizione 4
@@@@@@@senso comune
Evidenzia (giallo) - Posizione 7
Why isn’t everyone talking about nuclear security, biodefense, or counterterrorism? Because there are already competent institutions working on those problems,
Nota - Posizione 8
SETTORI MATURI
Nota - Posizione 8
SETTORI MATURI
Evidenzia (giallo) - Posizione 15
it’s harder to keep up with the field.
Nota - Posizione 15
UNA CONSEG DI QS FATTO
Nota - Posizione 15
UNA CONSEG DI QS FATTO
Evidenzia (giallo) - Posizione 15
Bostrom wrote Superintelligence:
Nota - Posizione 15
IL PRIMO RESOCONTO
Nota - Posizione 15
IL PRIMO RESOCONTO
Evidenzia (giallo) - Posizione 16
Since then, things have been less public-facing, less readable, and more likely to be published in dense papers with a lot of mathematical
Nota - Posizione 17
Cccccc
Nota - Posizione 17
Cccccc
Evidenzia (giallo) - Posizione 18
Reframing Superintelligence: Comprehensive AI Services As General Intelligence by Eric Drexler,
Nota - Posizione 19
OGGI
Nota - Posizione 19
OGGI
Evidenzia (giallo) - Posizione 21
This 200 page report is not quite as readable as Superintelligence;
Nota - Posizione 21
PURTROPPO
Nota - Posizione 21
PURTROPPO
Evidenzia (giallo) - Posizione 22
all of its claims start sounding the same after a while.
Nota - Posizione 22
DIFETTO
Nota - Posizione 22
DIFETTO
Evidenzia (giallo) - Posizione 23
what if future AI looks a lot like current AI, but better?
Nota - Posizione 23
LA DOMANDA
Nota - Posizione 23
LA DOMANDA
Evidenzia (giallo) - Posizione 24
Google Translate would be able to translate texts faster and better
Nota - Posizione 24
ESEMPIO
Nota - Posizione 24
ESEMPIO
Evidenzia (giallo) - Posizione 26
But in the end, it would just be a translation app.
Nota - Posizione 26
Cccccccccc
Nota - Posizione 26
Cccccccccc
Evidenzia (giallo) - Posizione 26
It wouldn’t even “want” to become better at translating than it was already.
Nota - Posizione 27
Cccccccccc
Nota - Posizione 27
Cccccccccc
Evidenzia (giallo) - Posizione 28
media services that can write books or generate movies to fit your personal tastes.
Nota - Posizione 29
ALTRO ESEMPIO
Nota - Posizione 29
ALTRO ESEMPIO
Evidenzia (giallo) - Posizione 32
In this future, our AI technology would have taken the same path as our physical technology.
Nota - Posizione 33
IPOTESI
Nota - Posizione 33
IPOTESI
Evidenzia (giallo) - Posizione 33
The human body can run fast, lift weights, and fight off enemies. But the automobile, crane, and gun are three different machines.
Nota - Posizione 33
UNA MACCHINA UNA FUNZIONE
Nota - Posizione 33
UNA MACCHINA UNA FUNZIONE
Evidenzia (giallo) - Posizione 40
These superintelligent services would be safer than general-purpose superintelligent agents.
Nota - Posizione 41
CONSEGUENZA PIACEVOLE....SPECIALIZZAZIONE => INNOCUO
Nota - Posizione 41
CONSEGUENZA PIACEVOLE....SPECIALIZZAZIONE => INNOCUO
Evidenzia (giallo) - Posizione 43
Superintelligent services would not self-improve. You could build an AI researching service– or, more likely, several different services to help with several different aspects of AI research– but each of them would just be good at solving certain AI research problems.
Nota - Posizione 44
MIGLIORAMENTO
Nota - Posizione 44
MIGLIORAMENTO
Evidenzia (giallo) - Posizione 46
superintelligent services could help keep the world safe from less benevolent AIs.
Nota - Posizione 47
CONSEG POSITIVA
Nota - Posizione 47
CONSEG POSITIVA
Evidenzia (giallo) - Posizione 47
Drexler agrees that a self-improving general purpose AI agent is possible,
Nota - Posizione 47
LA VERA AI COLPIRÀ L UOMO CHE SI DIFENDERÀ CON AI SERVICE
Nota - Posizione 47
LA VERA AI COLPIRÀ L UOMO CHE SI DIFENDERÀ CON AI SERVICE
Evidenzia (giallo) - Posizione 48
He agrees this could go about the way Bostrom expects it to go, ie very badly. But he hopes that there will be a robust ecosystem of AI services active
Nota - Posizione 49
Cccccc
Nota - Posizione 49
Cccccc
Evidenzia (giallo) - Posizione 49
Superintelligent anomaly detectors might be able to notice rogue agents causing trouble,
Nota - Posizione 50
IA DETECTIVE
Nota - Posizione 50
IA DETECTIVE
Evidenzia (giallo) - Posizione 51
Drexler therefore does not completely dismiss Bostromian disaster scenarios,
Nota - Posizione 52
DISASTRO
Nota - Posizione 52
DISASTRO
Evidenzia (giallo) - Posizione 54
Drexler is more concerned about potential misuse by human actors
Nota - Posizione 55
PREOCCUPAZIONE UNO
Nota - Posizione 55
PREOCCUPAZIONE UNO
Evidenzia (giallo) - Posizione 56
illegal use by criminals and enemy militaries,
Nota - Posizione 56
EZSEMPI
Nota - Posizione 56
EZSEMPI
Evidenzia (giallo) - Posizione 59
Paul Christiano
Nota - Posizione 59
I LINEA CON
Nota - Posizione 59
I LINEA CON
Evidenzia (giallo) - Posizione 59
AI services will be naturally better at satisfying objective criteria than at “making the world better” in some vague sense.
Nota - Posizione 60
IL PROBLEMA
Nota - Posizione 60
IL PROBLEMA
Evidenzia (giallo) - Posizione 60
“maximize clicks to this site”
Nota - Posizione 60
ES DI CRITERIOK OGGETTIVO
Nota - Posizione 60
ES DI CRITERIOK OGGETTIVO
Evidenzia (giallo) - Posizione 61
“provide real value to users of this site instead of just clickbait”
Nota - Posizione 61
CRITERIO AMBIGUO
Nota - Posizione 61
CRITERIO AMBIGUO
Evidenzia (giallo) - Posizione 62
AI may asymmetrically empower some of the worst tedencies in our society without giving a corresponding power increase to normal people just trying to live enjoyable lives.
Nota - Posizione 63
IL PERICOLO DELLA METRICA
Nota - Posizione 63
IL PERICOLO DELLA METRICA
Nota - Posizione 65
Tttttttt
Nota - Posizione 65
Tttttttt
Evidenzia (giallo) - Posizione 65
II.
Evidenzia (giallo) - Posizione 66
Drexlerian vs. a Bostromian
Nota - Posizione 66
DIOTOMIA
Nota - Posizione 66
DIOTOMIA
Evidenzia (giallo) - Posizione 67
some people who are very concerned that even programs that seem to be innocent superintelligent services will be able to self-improve, develop misaligned goals, and cause catastrophes.
Nota - Posizione 68
VIA DI MEZZO
Nota - Posizione 68
VIA DI MEZZO
Evidenzia (giallo) - Posizione 70
First many tasks require general intelligence
Nota - Posizione 71
COSE CHE NN SI CAPISCONO
Nota - Posizione 71
COSE CHE NN SI CAPISCONO
Evidenzia (giallo) - Posizione 71
For example, an AI operating in a domain with few past examples (eg planning defense against a nuclear
Nota - Posizione 72
Ccccccccc
Nota - Posizione 72
Ccccccccc
Evidenzia (giallo) - Posizione 73
When humans work on these domains, they use something like common sense, which is presumably the sort of thing we have because we understand thousands of different domains from gardening to ballistics and this gives us a basic sense of how the world works in general.
Nota - Posizione 75
CcccccccccSENSO COMUNE
Nota - Posizione 75
CcccccccccSENSO COMUNE
Evidenzia (giallo) - Posizione 75
Drexler agrees that we will want AIs with domain-general knowledge that cannot be instilled by training, but he argues that this is still “a service”.
Nota - Posizione 76
CcccccccCOMMON SENSE
Nota - Posizione 76
CcccccccCOMMON SENSE
Evidenzia (giallo) - Posizione 77
he doesn’t believe those architectures will need to be agents.
Nota - Posizione 78
Cccccccccc
Nota - Posizione 78
Cccccccccc
Evidenzia (giallo) - Posizione 78
is it easier to train services or agents?
Nota - Posizione 78
ALTRO PROBLEMA POCO CHIARO
Nota - Posizione 78
ALTRO PROBLEMA POCO CHIARO
Evidenzia (giallo) - Posizione 81
If agents were easier to “evolve” than services, agentic AI might arise at an earlier stage,
Nota - Posizione 81
Cccccccc
Nota - Posizione 81
Cccccccc
Evidenzia (giallo) - Posizione 82
Third, how difficult is it to separate agency from cognition?
Nota - Posizione 83
TERZO PROBLEMA
Nota - Posizione 83
TERZO PROBLEMA
Evidenzia (giallo) - Posizione 86
Drexler’s basic insight is that Bostromian agents need to be really different from our current paradigm
Nota - Posizione 87
AGENTE VS SERVIZIO
Nota - Posizione 87
AGENTE VS SERVIZIO
Nota - Posizione 97
Ttttttttttttttt
Nota - Posizione 97
Ttttttttttttttt
Evidenzia (giallo) - Posizione 97
III.
Evidenzia (giallo) - Posizione 100
services vs. agents.
Nota - Posizione 100
RIPETIZINE
Nota - Posizione 100
RIPETIZINE
Evidenzia (giallo) - Posizione 102
the idea of an ecosystem of services.
Nota - Posizione 102
IDEA DI DREXTLER E HANSON
Nota - Posizione 102
IDEA DI DREXTLER E HANSON
Evidenzia (giallo) - Posizione 105
Gwern’s essay on why tool AIs are likely to turn into agent AIs
Nota - Posizione 106
ARGOMENTO PRO BOSTROM
Nota - Posizione 106
ARGOMENTO PRO BOSTROM
