QUAL E’ LA META DELL’UOMO?
Filosofia: soddisfazione.
Religione: armonia.
Psicologia: felicità.
Economia: interesse.
Evoluzionismo: trasmissione dei geni.
Neuroscienze: riduzione dell’incertezza.
https://slatestarcodex.com/2019/03/20/translating-predictive-coding-into-perceptual-control/
https://slatestarcodex.com/2018/03/04/god-help-us-lets-try-to-understand-friston-on-free-energy/
…
Teoria del cervello come macchina bayesiana.
Cos'è il teorema di Bayes?
Il teorema di Bayes è la regola matematica per determinare come "pesare" le prove. Il cervello è a volte chiamato macchina bayesiana, perché deve creare un'immagine coerente del mondo "pesando" tutti i diversi dati che ottiene da milioni di neuroni, di fotorecettori, di recettori cocleari, dal ragionamento logico, dall'esperienza passata e così via. Purtroppo l'uso bayesiano su tutti questi dati diventa rapidamente intrattabile dal punto di vista computazionale, anche per questo l'IA è ferma al palo.
Visualizzazione post con etichetta #yudkowski bayes. Mostra tutti i post
Visualizzazione post con etichetta #yudkowski bayes. Mostra tutti i post
giovedì 21 marzo 2019
lunedì 26 febbraio 2018
UN'IDEA DI RAGIONE
UN'IDEA DI RAGIONE
Difficile dire cosa sia la ragione, un corposo indizio lo dà però questa idea: l'uomo razionale pensa in termini di probabilità, gli altri in termini di certezza/incertezza.
#Amazon
Difficile dire cosa sia la ragione, un corposo indizio lo dà però questa idea: l'uomo razionale pensa in termini di probabilità, gli altri in termini di certezza/incertezza.
#Amazon
mercoledì 22 febbraio 2017
Neoilluminismo bayesiano
Il teorema del Reverendo Thomas Bayes è alla base del Manifesto per un nuovo Illuminismo.
***
Il teorema di Bayes, di per sé, è solo un'equazione.
Ma è anche un modo di ragionare.
In realtà, probabilmente, è l'unico modo corretto di ragionare. E uso quel "probabilmente" proprio per attenermi ai dettami bayesiani.
Per conseguenza, il teorema di Bayes è anche una descrizione indiretta della razionalità umana.
La scienza, tanto per dire, è un caso particolare del teorema di Bayes. La filosofia un altro, la teologia un altro… Dove c'è la "ragione", c'è Bayes.
Per tutti questi motivi è buona cosa capire cosa dice il teorema, e il miglior modo per farlo è di meditare la guida di Elizer Yudkowsky: "An Intuitive Explanation of Bayes".
***
Ma perché le persone si entusiasmano tanto per il teorema di Bayes? Perchè esiste una loggia di bayesiani-duri? Perché circolano t-shirt con il teorema stampato sopra? Perché si ritiene che il reverendo Bayes abbia spiegato il segreto dell'universo? Perché l’equazione di Bayes ha superato in popolarità quella di Einstein? Come può un semplice concetto matematico generare tanto entusiasmo?
Tra poco lo saprete e potrete unirvi al gruppo.
Per ora anticiperei così: Bayes descrive la nostra ragione nel modo più completo e più sintetico allo stesso tempo. E la ragione è forse la cosa più importante che possediamo, specie quando è unita al cuore (come nella formula di Bayes).
Il teorema è piuttosto semplice da descrivere ma non altrettanto da capire. Magari, sì, uno lo capisce in teoria ma non in pratica... Magari mescola un po' le cose facendo un minestrone che dà la sensazione di aver capito. E anche se uno lo capisce, trascuratolo per qualche mese, deve correre a ripassarselo.
Il teorema è controintuitivo, un po' come la meccanica quantistica, solo che, diversamente dalla meccanica quantistica (per tutti noi una mera curiosità), trova applicazione tutti i giorni.
Il suo essere controintuitivo lo rende importante: se fosse già incorporato nel nostro cervello sarebbe solo un meccanismo che già utilizziamo e che ci viene esposto con dovizia di particolari. Non è così: quando uno scopre Bayes, è solo da quel momento che inizia ad utilizzarlo (ovvero a ragionare correttamente).
***
Chiedo umilmente perdono per questa sezione, l’unica dove compare qualche simbolo, ma si tratta di passaggi semplici comprensibili a chi ha fatto la scuola dell’obbligo (ed è interessato all’argomento del neoilluminismo).
Nel mondo bayesiano tutto è probabilità.
Ad ogni evento (A, B...) è associata una probabilità: pA, pB,...
Particolarmente importanti sono le probabilità degli eventi che si verificano contemporaneamente (A&B).
La probabilità che due eventi si verifichino contemporanamente è il prodotto delle probabilità che ciascun evento si verifichi. Diciamo che p(A&B)=pA*pB. Perché? E’ una comodità.
Pensate solo di lanciare in aria una moneta: la probabilità di fare testa è di 1/2. Se ne lanciate due, la probabilità di fare contemporaneamente due "teste" è 0.5*0.5=0.25. Quadra?
Ma c'è un altro modo per esprimere la contemporaneità di due eventi.
Vediamola: p(A&B)=p(A<=B)*pB, dove la freccetta significa “implica”. Il concetto è semplice: se si Verifica B e (contemporaneamente) quel B implica A, allora B e A si verificano contemporaneamente.
Che poi equivale a scrivere p(A&B)=p(B<=A)*pA. Tradotto se si Verifica A e (contemporaneamente) quell’ A implica B, allora B e A si verificano contemporaneamente.
Se le tre esperessioni sono equivalenti, posso procedere alle opportune sostituzioni che mi consentono di formulare il teorema di Bayes: p(A<=B)=p(B<=A)*(pA/pB). Finito. Semplice!
Ma così facendo abbiamo formalizzato la relazione "implica", ovvero la relazione più importante per chi fa logica, scienza, filosofia, teologia, economia, diritto...e in generale per tutta la gente che ragiona. Non solo: la formulazione ottenuta è sorprendente, chi l'avrebbe creduto? Ma vediamo meglio perché è sorprendente e controintuitiva. Vediamo perché ci chiede di cambiare il nostro modo di ragionare.
***
Vediamolo meglio con una storiella che è anche un indovinello...
... 1% of women at age forty who participate in routine screening have breast cancer. 80% of women with breast cancer will get positive mammographies. 9.6% of women without breast cancer will also get positive mammographies. A woman in this age group had a positive mammography in a routine screening. What is the probability that she actually has breast cancer?...
Insomma, l'1% delle donne che fanno lo screening è malata di cancro.
Se avete il cancro il test ve lo dice nell'80% dei casi.
Se non avete il cancro il test dice che lo avete nel 9.6% dei casi.
Il test ora dice che avete il cancro. Qual è la probabilità di essere effettivamente malati?
I dottori, ovvero gli specialisti in materia, rispondono regolarmente in modo errato terrorizzando le donne quando non ce n'è bisogno. Ma anche molti di noi sbagliano (specie se il problema viene introdotto causalmente senza la mega-premessa che ho fatto io e che ovviamente mette in allarme il solutore).
Cosa significa questo? Significa che non siamo dei bayesiani naturali.
Con Bayes tutto diventa semplice perché conosciamo come calcolare p(A<=B). Basta porre A=essere malati e B=esito positivo del test, e calcolare la probabilità corretta dell'implicazione applicando la formula. Tutti i dati sono disponibili.
Solo il 15% dei dottori c'azzecca. E non si tratta di un numero sparato lì a spanne...
... See Casscells, Schoenberger, and Grayboys 1978; Eddy 1982; Gigerenzer and Hoffrage 1995...
È una percentuale facile da replicare (e infatti è stata replicata più volte).
La maggioranza dei dottori spara percentuali a vanvera tra il 70% e l' 80% :-)
Di fronte ad una formulazione alternativa del medesimo problema, fanno un po' meglio...
... 10 out of 1000 women at age forty who participate in routine screening have breast cancer. 800 out of 1000 women with breast cancer will get positive mammographies. 96 out of 1000 women without breast cancer will also get positive mammographies. If 1000 women in this age group undergo a routine screening, about what fraction of women with positive mammographies will actually have breast cancer?...
Ma è la seguente versione che aiuta quasi metà dei dottori a cogliere il punto...
... 100 out of 10,000 women at age forty who participate in routine screening have breast cancer. 80 of every 100 women with breast cancer will get a positive mammography. 950 out of 9,900 women without breast cancer will also get a positive mammography. If 10,000 women in this age group undergo a routine screening, about what fraction of women with positive mammographies will actually have breast cancer?...
Per noi che conosciamo Bayes e la sua formula la risposta corretta è facile: 7.8%. Anche se la mammografia ci dice che abbiamo il cancro è quasi certo che non siamo malati.
Il ragionamento corretto da fare...
... Out of 10,000 women, 100 have breast cancer; 80 of those 100 have positive mammographies. From the same 10,000 women, 9,900 will not have breast cancer and of those 9,900 women, 950 will also get positive mammographies. This makes the total number of women with positive mammographies 950 + 80 or 1,030. Of those 1,030 women with positive mammographies, 80 will have cancer. Expressed as a proportion, this is 80/ 1,030 or 0.07767 or 7.8%....
Bisogna tenere a mente che ci sono 4 gruppi di persone: 1) sani con esito negativo 2) sani con esito positivo 3) malati con esito positivo e 4) malati con esito negativo. È con queste grandezze che bisogna trafficare. Ci si dimentica che...
... If you administer a mammography to 10,000 patients, then out of the 1030 with positive mammographies, 80 of those positive-mammography patients will have cancer....
Solo 1 donna su 13 che ricevono l'infausto esito è realmente malata.
***
L'errore più comune che si commette affrontando il problemino ci fa capire l’importanza di Bayes...
... The most common mistake is to ignore the original fraction of women with breast cancer, and the fraction of women without breast cancer who receive false positives, and focus only on the fraction of women with breast cancer who get positive results. For example, the vast majority of doctors in these studies seem to have thought that if around 80% of women with breast cancer have positive mammographies, then the probability of a women with a positive mammography having breast cancer must be around 80%...
... dimenticare le probabilità di partenza: pA e pB. Si chiamano probabilità "a priori", e sono il cuore della faccenda.
Quando consideriamo l'implicazione tra due eventi dobbiamo pensare a tre dati: 1) probabilità del primo evento, 2) probabilità del secondo 3) probabilità dell’implicazione rovesciata tra i due eventi. Basta ricordarsi la formula di Bayes per avere i dati chiave del problema. Ebbene, due dati chiave sono probabilità apriori.
Il messaggio è chiaro: l'esito della mammografia non rimpiazza la nostra conoscenza a priori ma l'aggiorna. Per questo la conoscenza a priori è tanto importante e non cessa mai di esserlo.
Il sapere tradizionale non viene mai spazzato via ma solo aggiornato.
Nel nostro caso l'1% viene aggiornato al 7,8%. Molti medici invece lo rimpiazzano con l'80% o qualcosa di simile, e questo solo perché l’esito della mammografia è attendibile all’ 80%.
Non colgono il fatto che ci sono due problemi differenti...
... "The probability that a woman with a positive mammography has breast cancer" is not at all the same thing as "the probability that a woman with breast cancer has a positive mammography"; they are as unlike as apples and cheese...
Risolvono quello meno interessante equivocando su quello cruciale.
***
Oltre ai falsi positivi pesano i falsi negativi. Lo capiamo da questa variazione sul tema...
... consider an alternate test, mammography +. Like the original test, mammography + returns positive for 80% of women with breast cancer. However, mammography + returns a positive result for only one out of a million women without breast cancer - mammography + has the same rate of false negatives, but a vastly lower rate of false positives. Suppose a patient receives a positive mammography +. What is the chance that this patient has breast cancer?...
La soluzione diventerebbe 99.98%. Leggermente diversa, dunque.
Naturalmente nella formula di Bayes i falsi negativi sono impliciti nella variabile p(B<=A): la probabilità che un malato abbia un test positivo, infatti, dipende infatti dai falsi negativi del test.
Se i falsi negativi e i falsi positivi si equivalgono la probabilità aggiornata equivale a quella da aggiornare. Diciamo che l'evento non aggiunge informazioni al nostro sapere.
***
Ma dove si reperiscono le probabilità a priori?
Non fate mai questa domanda.
Qualcuno risponde pudico: nei manuali di chimica e fisica.
Ma c'è una risposta più rigorosa: nei nostri cuori. Solo lì c’è la probabilità più “apriori” di tutte.
Si parte da lì, da un'intuizione soggettiva da aggiornare continuamente tramite la formula di Bayes ad ogni incontro con un fatto nuovo.
La razionalità ha insomma un fondamento soggettivo che ci deriva dalla nostra natura e dalla nostra esperienza pregressa.
Anche per questo tutti crediamo cose diverse: proveniamo da “posti” diversi senza essere necessariamente irrazionali.
Si è irrazionali solo se si rinuncia ad aggiornare le proprie credenze, solo se si rinuncia a farlo in modo corretto. Le persone razionali alla fine andranno necessariamente d’accordo.
***
Gigerenzer e Hoffrage sono stati i primi a scoprire che il framing dei problemi ci aiuta ad applicare Bayes.
Formulare il problema in termini di probabilistici (l' 1% delle donne) ci frega.
Formularlo con frequenze normalizzate (1 donna su 100) ci fa andare un po’ meglio.
Ma è con le frequenze naturali (1030 donne su 10000) che diamo il massimo. Forse la cosa ci aiuta a formare i 4 gruppi di persone di cui sopra....
... A natural frequencies presentation is one in which the information about the prior probability is included in presenting the conditional probabilities... When problems are presented in natural frequences, the proportion of people using Bayesian reasoning rises to around half...
***
Ma chi era il Reverendo Bayes, ovvero l'eroe di questa storia e il patrono del Neoilluminismo? Forse è giunto il momento di fare la sua conoscenza...
... The Reverend Thomas Bayes, by far the most enigmatic figure in mathematical history. Almost nothing is known of Bayes's life, and very few of his manuscripts survived. Thomas Bayes was born in 1701 or 1702 to Joshua Bayes and Ann Carpenter, and his date of death is listed as 1761. The exact date of Thomas Bayes's birth is not known for certain because Joshua Bayes, though a surprisingly wealthy man, was a member of an unusual, esoteric, and even heretical religious sect, the "Nonconformists". The Nonconformists kept their birth registers secret, supposedly from fear of religious discrimination; whatever the reason, no true record exists of Thomas Bayes's birth. Thomas Bayes was raised a Nonconformist and was soon promoted into the higher ranks of the Nonconformist theosophers, whence comes the "Reverend" in his name. In 1742 Bayes was elected a Fellow of the Royal Society of London, the most prestigious scientific body of its day, despite Bayes having published no scientific or mathematical works at that time. Bayes's nomination certificate was signed by sponsors including the President and the Secretary of the Society, making his election almost certain. Even today, however, it remains a mystery why such weighty names sponsored an unknown into the Royal Society. Bayes's sole publication during his known lifetime was allegedly a mystical book entitled Divine Benevolence, laying forth the original causation and ultimate purpose of the universe. The book is commonly attributed to Bayes, though it is said that no author appeared on the title page, and the entire work is sometimes considered to be of dubious provenance. Most mysterious of all, Bayes' Theorem itself appears in a Bayes manuscript presented to the Royal Society of London in 1764, three years after Bayes's supposed death in 1761! Despite the shocking circumstances of its presentation, Bayes' Theorem was soon forgotten, and was popularized within the scientific community only by the later efforts of the great mathematician Pierre-Simon Laplace. Laplace himself is almost as enigmatic as Bayes; we don't even know whether it was "Pierre" or "Simon" that was his actual first name. Laplace's papers are said to have contained a design for an AI capable of predicting all future events, the so-called "Laplacian superintelligence". While it is generally believed that Laplace never tried to implement his design, there remains the fact that Laplace presciently fled the guillotine that claimed many of his colleagues during the Reign of Terror. Even today, physicists sometimes attribute unusual effects to a "Laplacian Operator" intervening in their experiments. In summary, we do not know the real circumstances of Bayes's birth, the ultimate origins of Bayes' Theorem, Bayes's actual year of death, or even whether Bayes ever really died. Nonetheless "Reverend Thomas Bayes", whatever his true identity, has the greatest fondness and gratitude of Earth's scientific community...
***
Ma perché ci si entusiasma tanto per Bayes?
Cerchiamo di capirlo con un esperimento: facciamoci una domanda...
... Do you believe that a nuclear war will occur in the next 20 years? If no, why not?"...
Si può rispondere in tanti modi. Eccone un esempio...
... One EFNetter who answered replied "No" to the above question, but added that he believed biological warfare would wipe out "99.4%" of humanity within the next ten years. I then asked whether he believed 100% was a possibility. "No," he said. "Why not?", I asked. "Because I'm an optimist,"...
Oppure questa...
... Another person who answered the above question said that he didn't expect a nuclear war for 100 years, because "All of the players involved in decisions regarding nuclear war are not interested right now." "But why extend that out for 100 years?", I asked. "Pure hope," was his reply...
Non si può giustificare una risposta sulla base di una speranza o sulla base del proprio ottimismo. E’ irrazionale! Ora, con Bayes, possiamo dimostrarlo matematicamente...
... as we have earlier seen, when the two conditional probabilities are equal, the revised probability equals the prior probability...
Ammettiamo però che la risposta che tira in ballo ottimismo e speranza sia più sofisticata, e in essa si sostenga che l’ ottimismo abbia certe conseguenze in qualche modo rilevanti per il nostro problema...
... "Ah, but since I'm an optimist, I'll have renewed hope for tomorrow, work a little harder at my dead-end job, pump up the global economy a little, eventually, through the trickle-down effect, sending a few dollars into the pocket of the researcher who ultimately finds a way to stop biological warfare - so you see, the two events are related after all, and I can use one as valid evidence about the other." In one sense, this is correct - any correlation, no matter how weak, is fair prey for Bayes' Theorem...
Si potrebbe dire che in un mondo complesso "tutto c'entra con tutto", ma di questo Bayes tiene conto! Se la giustificazione dell’ottimista ha anche solo un minuscolo fondamento, Bayes lo coglie e lo soppesa.
Per il bayesiano non ha senso, per esempio, l'avvocato che in tribunale eleva il suo "obiezione vostro onore". Questo perché, per l’appunto, "tutto c'entra con tutto", non ci sono domande fuori luogo o non pertinenti, basta soppesarle con la sensibilissima bilancia di Bayes.
***
La scienza non è altro un caso speciale del teorema di Bayes.
L'evidenza sperimentale va trattata con bayesianamente...
... when you perform an experiment and get evidence that "confirms" or "disconfirms" your theory, this confirmation and disconfirmation is governed by the Bayesian rules. For example, you have to take into account, not only whether your theory predicts the phenomenon, but whether other possible explanations also predict the phenomenon....
Se il giornale riporta uno studio scientifico effettuato con tutti i crismi secondo il quale fumare 15 sigarette al giorno aumenta dell'88% il rischio medio di cancro al polmone, di quanto aumenterà il vostro rischio medio di cancro al polmone, visto che fumate esattamente 15 sigarette al giorno? Ora che conosciamo Bayes, ora che finalmente siamo individui razionali, possiamo rispondere correttamente senza incorrere in errori marchiani.
***
Poiché la scienza si può pensare correttamente solo in una cornice bayesiana, non sorprenderà sapere che Bayes ha detronizzato Popper e il suo falsificazionismo riducendolo ad un caso particolare del bayenesimo...
... Karl Popper's idea that theories can be definitely falsified, but never definitely confirmed, is yet another special case of the Bayesian rules; if p( X | A) ~ 1 - if the theory makes a definite prediction - then observing ~ X very strongly falsifies A. On the other hand, if p( X | A) ~ 1, and we observe X, this doesn't definitely confirm the theory; there might be some other condition B such that p( X | B) ~ 1, in which case observing X doesn't favor A over B. For observing X to definitely confirm A, we would have to know, not that p( X | A) ~ 1, but that p( X | ~ A) ~ 0, which is something that we can't know because we can't range over all possible alternative explanations...
Bayes sta a Popper come Einstein sta a Newton...
... For example, when Einstein's theory of General Relativity toppled Newton's incredibly well-confirmed theory of gravity, it turned out that all of Newton's predictions were just a special case of Einstein's predictions...
Per Popper una conferma non è una verifica e una falsificazione è una confutazione: tra le due cose c'è asimmetria. C’è un’asimmetria logica tra i due eventi.
Bayes mette la logica in secondo piano, per lui tutto è probabilità: una falsificazione può pesare molto di più di una conferma – come implica il paradigma di Popper - ma si tratterebbe solo di un caso particolare tra i tanti possibili...
... Bayes' Theorem shows that falsification is very strong evidence compared to confirmation, but falsification is still probabilistic in nature...
Non c'è una differenza qualittiva tra conferma e falsificazione. La cosa ci aiuta a comprendere meglio la storia concreta della scienza e del suo avanzamento (che alla luce del rozzo schema popperiano ci rimane estranea).
***
Bayes ci spiega la scienza, ci dice come leggere un lavoro scientifico, come interpretare un esperimento, ci dice come la ragione si applica al reale, coniuga la mente con la realtà concreta, ci dice quanto conti il nostro cuore, la nostra esperienza pregressa conscia e inconscia... adesso penso che sia chiaro perché ho parlato di "rivoluzione" neoilluminista. Ora anche voi siete pronti per entrare nel club dei bayesiani.
martedì 21 febbraio 2017
An Intuitive Explanation of Bayes' Theorem Elizer Yudkowsky
Notebook per
***An Intuitive Explanation of Bayes' Theorem
Citation (APA): Yudkowsky, E. (2017). ***An Intuitive Explanation of Bayes' Theorem [Kindle Android version]. Retrieved from Amazon.com
Parte introduttiva
Evidenzia (giallo) - Posizione 2
An Intuitive Explanation of Bayes' Theorem By Elizer Yudkowsky
Evidenzia (giallo) - Posizione 8
"Bayes' Theorem"
Evidenzia (giallo) - Posizione 8
Bayesian reasoning.
Evidenzia (giallo) - Posizione 10
Just one equation.
Evidenzia (giallo) - Posizione 10
why your friends would be interested in it.
Evidenzia (giallo) - Posizione 12
Maybe you understand it in theory,
Evidenzia (giallo) - Posizione 12
in practice you get mixed up
Evidenzia (giallo) - Posizione 14
you can't understand why your friends and/ or research colleagues seem to think it's the secret of the universe.
Evidenzia (giallo) - Posizione 17
Why does a mathematical concept generate this strange enthusiasm in its students?
Evidenzia (giallo) - Posizione 18
What is the so-called Bayesian Revolution
Evidenzia (giallo) - Posizione 18
subsume even the experimental method itself as a special case?
Evidenzia (giallo) - Posizione 21
Bayesian reasoning is very counterintuitive.
Evidenzia (giallo) - Posizione 22
People do not employ Bayesian reasoning intuitively,
Evidenzia (giallo) - Posizione 22
rapidly forget Bayesian methods
Evidenzia (giallo) - Posizione 24
like quantum mechanics
Nota - Posizione 24
...
Evidenzia (giallo) - Posizione 24
is inherently difficult
Nota - Posizione 24
c
Evidenzia (giallo) - Posizione 29
Here's a story
Nota - Posizione 29
t
Evidenzia (giallo) - Posizione 29
1% of women at age forty who participate in routine screening have breast cancer. 80% of women with breast cancer will get positive mammographies. 9.6% of women without breast cancer will also get positive mammographies. A woman in this age group had a positive mammography in a routine screening. What is the probability that she actually has breast cancer?
Nota - Posizione 32
x PROBLEMA DEL CANCRO
Evidenzia (giallo) - Posizione 33
come up with your own answer before continuing.
Evidenzia (giallo) - Posizione 33
most doctors get the same wrong answer
Evidenzia (giallo) - Posizione 34
around 15% of doctors get it right.
Evidenzia (giallo) - Posizione 35
See Casscells, Schoenberger, and Grayboys 1978; Eddy 1982; Gigerenzer and Hoffrage 1995;
Nota - Posizione 36
x TEST SUI DOTTORI
Evidenzia (giallo) - Posizione 36
result which is easy to replicate,
Evidenzia (giallo) - Posizione 38
most doctors estimate the probability to be between 70% and 80%,
Evidenzia (giallo) - Posizione 39
alternate version of the problem
Evidenzia (giallo) - Posizione 40
10 out of 1000 women at age forty who participate in routine screening have breast cancer. 800 out of 1000 women with breast cancer will get positive mammographies. 96 out of 1000 women without breast cancer will also get positive mammographies. If 1000 women in this age group undergo a routine screening, about what fraction of women with positive mammographies will actually have breast cancer?
Nota - Posizione 43
x ALTRO ES
Evidenzia (giallo) - Posizione 43
here's the problem on which doctors fare best of all,
Evidenzia (giallo) - Posizione 43
46%
Evidenzia (giallo) - Posizione 44
100 out of 10,000 women at age forty who participate in routine screening have breast cancer. 80 of every 100 women with breast cancer will get a positive mammography. 950 out of 9,900 women without breast cancer will also get a positive mammography. If 10,000 women in this age group undergo a routine screening, about what fraction of women with positive mammographies will actually have breast cancer?
Nota - Posizione 47
x TERZO FRAMING
Evidenzia (giallo) - Posizione 47
The correct answer is 7.8%,
Evidenzia (giallo) - Posizione 47
Out of 10,000 women, 100 have breast cancer; 80 of those 100 have positive mammographies. From the same 10,000 women, 9,900 will not have breast cancer and of those 9,900 women, 950 will also get positive mammographies. This makes the total number of women with positive mammographies 950 + 80 or 1,030. Of those 1,030 women with positive mammographies, 80 will have cancer. Expressed as a proportion, this is 80/ 1,030 or 0.07767 or 7.8%.
Nota - Posizione 50
x IL RAGIONAMENTO X LA RISPOSTA CORRETTA
Nota - Posizione 52
x DUE GRUPPI
Nota - Posizione 57
x 4 GRUPPI
Evidenzia (giallo) - Posizione 62
If you administer a mammography to 10,000 patients, then out of the 1030 with positive mammographies, 80 of those positive-mammography patients will have cancer.
Evidenzia (giallo) - Posizione 65
1 out of those 13 will have cancer.
Evidenzia (giallo) - Posizione 65
The most common mistake is to ignore the original fraction of women with breast cancer, and the fraction of women without breast cancer who receive false positives, and focus only on the fraction of women with breast cancer who get positive results. For example, the vast majority of doctors in these studies seem to have thought that if around 80% of women with breast cancer have positive mammographies, then the probability of a women with a positive mammography having breast cancer must be around 80%.
Nota - Posizione 67
x L ERRORE PIÙ COMUNE
Evidenzia (giallo) - Posizione 69
three pieces of information
Evidenzia (giallo) - Posizione 71
the final answer always depends on the original fraction of women with breast cancer,
Evidenzia (giallo) - Posizione 71
consider an alternate universe in which only one woman out of a million has breast cancer.
Evidenzia (giallo) - Posizione 75
the probability goes from 1: 1,000,000 to 1: 100,000.
Nota - Posizione 76
AUMENTO TRASCURABILE
Evidenzia (giallo) - Posizione 83
the mammography result doesn't replace your old information
Evidenzia (giallo) - Posizione 84
the mammography slides the estimated probability in the direction of the result.
Evidenzia (giallo) - Posizione 86
a positive result on the mammography slides the 1% chance upward to 7.8%.
Nota - Posizione 87
L AGGIORNAMENTO
Evidenzia (giallo) - Posizione 88
replacing the original 1% probability with the 80% probability
Nota - Posizione 88
L ERRORE COMUNE
Evidenzia (giallo) - Posizione 89
It may seem like a good idea, but it just doesn't work.
Evidenzia (giallo) - Posizione 89
"The probability that a woman with a positive mammography has breast cancer" is not at all the same thing as "the probability that a woman with breast cancer has a positive mammography"; they are as unlike as apples and cheese.
Nota - Posizione 91
x DUE PROBLEMI DIFFERENTI
Evidenzia (giallo) - Posizione 91
uses all three pieces of problem information
Evidenzia (giallo) - Posizione 92
"the prior probability that a woman has breast cancer",
Evidenzia (giallo) - Posizione 92
"the probability that a woman with breast cancer gets a positive mammography",
Evidenzia (giallo) - Posizione 93
"the probability that a woman without breast cancer gets a positive mammography".
Evidenzia (giallo) - Posizione 100
consider an alternate test, mammography +. Like the original test, mammography + returns positive for 80% of women with breast cancer. However, mammography + returns a positive result for only one out of a million women without breast cancer - mammography + has the same rate of false negatives, but a vastly lower rate of false positives. Suppose a patient receives a positive mammography +. What is the chance that this patient has breast cancer?
Nota - Posizione 103
x ALTRA VERSIONE: FALSI NEGATIVI BASSISSIMI
Evidenzia (giallo) - Posizione 103
99.988%,
Evidenzia (giallo) - Posizione 113
Mammography + is thus a better test in terms of its total emotional impact
Evidenzia (giallo) - Posizione 117
if you have a positive mammography +, your chance of having cancer is a virtual certainty.
Evidenzia (giallo) - Posizione 117
mammography + does not generate as many false positives
Evidenzia (giallo) - Posizione 137
case where the chance of a true positive and the chance of a false positive are the same,
Nota - Posizione 137
NO INFO
Evidenzia (giallo) - Posizione 155
Take, for example, the "test" of flipping a coin;
Evidenzia (giallo) - Posizione 164
The original proportion of patients with breast cancer is known as the prior probability.
Evidenzia (giallo) - Posizione 165
The chance that a patient with breast cancer gets a positive mammography, and the chance that a patient without breast cancer gets a positive mammography, are known as the two conditional probabilities.
Nota - Posizione 166
CONDITIONAL
Evidenzia (giallo) - Posizione 166
Collectively, this initial information is known as the priors.
Evidenzia (giallo) - Posizione 168
revised probability or the posterior probability.
Evidenzia (giallo) - Posizione 169
if the two conditional probabilities are equal, the posterior probability equals the prior probability.
Evidenzia (giallo) - Posizione 171
How can I find the priors for a problem? A. Many commonly used priors are listed in the Handbook of Chemistry and Physics.
Evidenzia (giallo) - Posizione 172
Where do priors originally come from? A. Never ask that question.
Nota - Posizione 173
SOGGETTO
Evidenzia (giallo) - Posizione 174
Priors for scientific problems are established by annual vote of the AAAS.
Evidenzia (giallo) - Posizione 238
I suggest visualizing Bayesian evidence as sliding the probability
Evidenzia (giallo) - Posizione 240
Gigerenzer and Hoffrage
Evidenzia (giallo) - Posizione 241
some ways of phrasing story problems are much more evocative of correct Bayesian reasoning.
Evidenzia (giallo) - Posizione 241
The least evocative phrasing used probabilities.
Evidenzia (giallo) - Posizione 242
A slightly more evocative phrasing used frequencies
Evidenzia (giallo) - Posizione 243
instead of saying that 1%
Evidenzia (giallo) - Posizione 243
one would say that 1 out of 100
Evidenzia (giallo) - Posizione 245
saying "1 out of 100 women" encourages you to concretely visualize X women with cancer,
Evidenzia (giallo) - Posizione 246
most effective presentation found so far is what's known as natural frequencies
Evidenzia (giallo) - Posizione 248
A natural frequencies presentation is one in which the information about the prior probability is included in presenting the conditional probabilities.
Nota - Posizione 249
x NATURAL FREQUENCY
Evidenzia (giallo) - Posizione 256
When problems are presented in natural frequences, the proportion of people using Bayesian reasoning rises to around half.
Evidenzia (giallo) - Posizione 259
visualization,
Evidenzia (giallo) - Posizione 355
p( A& B) is the same as p( B& A), but p( A | B) is not the same thing as p( B | A), and p( A& B) is completely different from p( A | B).
Nota - Posizione 356
x CONFUSIONE
Evidenzia (giallo) - Posizione 457
The probability that a test gives a true positive divided by the probability that a test gives a false positive is known as the likelihood ratio of that test.
Nota - Posizione 458
x ATTENDIBILITÀ DEL TEST
Evidenzia (giallo) - Posizione 459
The likelihood ratio sums up everything there is to know about the meaning of a positive result
Evidenzia (giallo) - Posizione 461
but the meaning of a negative result on the test is not specified,
Evidenzia (giallo) - Posizione 487
If the prior probability is 1%, then knowing only the likelihood ratio is enough to determine the posterior probability after a positive result.
Nota - Posizione 487
X È SUFFICIENTE
Evidenzia (giallo) - Posizione 574
The Reverend Thomas Bayes, by far the most enigmatic figure in mathematical history. Almost nothing is known of Bayes's life, and very few of his manuscripts survived. Thomas Bayes was born in 1701 or 1702 to Joshua Bayes and Ann Carpenter, and his date of death is listed as 1761. The exact date of Thomas Bayes's birth is not known for certain because Joshua Bayes, though a surprisingly wealthy man, was a member of an unusual, esoteric, and even heretical religious sect, the "Nonconformists". The Nonconformists kept their birth registers secret, supposedly from fear of religious discrimination; whatever the reason, no true record exists of Thomas Bayes's birth. Thomas Bayes was raised a Nonconformist and was soon promoted into the higher ranks of the Nonconformist theosophers, whence comes the "Reverend" in his name. In 1742 Bayes was elected a Fellow of the Royal Society of London, the most prestigious scientific body of its day, despite Bayes having published no scientific or mathematical works at that time. Bayes's nomination certificate was signed by sponsors including the President and the Secretary of the Society, making his election almost certain. Even today, however, it remains a mystery why such weighty names sponsored an unknown into the Royal Society. Bayes's sole publication during his known lifetime was allegedly a mystical book entitled Divine Benevolence, laying forth the original causation and ultimate purpose of the universe. The book is commonly attributed to Bayes, though it is said that no author appeared on the title page, and the entire work is sometimes considered to be of dubious provenance. Most mysterious of all, Bayes' Theorem itself appears in a Bayes manuscript presented to the Royal Society of London in 1764, three years after Bayes's supposed death in 1761! Despite the shocking circumstances of its presentation, Bayes' Theorem was soon forgotten, and was popularized within the scientific community only by the later efforts of the great mathematician Pierre-Simon Laplace. Laplace himself is almost as enigmatic as Bayes; we don't even know whether it was "Pierre" or "Simon" that was his actual first name. Laplace's papers are said to have contained a design for an AI capable of predicting all future events, the so-called "Laplacian superintelligence". While it is generally believed that Laplace never tried to implement his design, there remains the fact that Laplace presciently fled the guillotine that claimed many of his colleagues during the Reign of Terror. Even today, physicists sometimes attribute unusual effects to a "Laplacian Operator" intervening in their experiments. In summary, we do not know the real circumstances of Bayes's birth, the ultimate origins of Bayes' Theorem, Bayes's actual year of death, or even whether Bayes ever really died. Nonetheless "Reverend Thomas Bayes", whatever his true identity, has the greatest fondness and gratitude of Earth's scientific community.
Evidenzia (giallo) - Posizione 596
why is it that some people are so excited about Bayes' Theorem?
Evidenzia (giallo) - Posizione 596
"Do you believe that a nuclear war will occur in the next 20 years? If no, why not?"
Nota - Posizione 597
UNA DOMANDA
Evidenzia (giallo) - Posizione 598
I went ahead and asked the above question in an IRC channel, #philosophy on EFNet.
Evidenzia (giallo) - Posizione 598
One EFNetter who answered replied "No" to the above question, but added that he believed biological warfare would wipe out "99.4%" of humanity within the next ten years. I then asked whether he believed 100% was a possibility. "No," he said. "Why not?", I asked. "Because I'm an optimist,"
Nota - Posizione 600
x UNA RISPOSTA
Evidenzia (giallo) - Posizione 602
Another person who answered the above question said that he didn't expect a nuclear war for 100 years, because "All of the players involved in decisions regarding nuclear war are not interested right now." "But why extend that out for 100 years?", I asked. "Pure hope," was his reply.
Nota - Posizione 604
x UN ALTRA
Evidenzia (giallo) - Posizione 604
What is it exactly that makes these thoughts "irrational"
Nota - Posizione 604
DOMANDA
Evidenzia (giallo) - Posizione 605
"It is not rational to believe things only because they are comforting."
Evidenzia (giallo) - Posizione 606
is equally irrational to believe things only because they are discomforting;
Evidenzia (giallo) - Posizione 607
to be an optimist has nothing to do with
Evidenzia (giallo) - Posizione 609
There is also a mathematical reply
Evidenzia (giallo) - Posizione 609
This mathematical reply is known as Bayes' Theorem.
Evidenzia (giallo) - Posizione 613
as we have earlier seen, when the two conditional probabilities are equal, the revised probability equals the prior probability.
Evidenzia (giallo) - Posizione 616
But suppose you are arguing with someone who is verbally clever
Evidenzia (giallo) - Posizione 616
"Ah, but since I'm an optimist, I'll have renewed hope for tomorrow, work a little harder at my dead-end job, pump up the global economy a little, eventually, through the trickle-down effect, sending a few dollars into the pocket of the researcher who ultimately finds a way to stop biological warfare - so you see, the two events are related after all, and I can use one as valid evidence about the other." In one sense, this is correct - any correlation, no matter how weak, is fair prey for Bayes' Theorem;
Nota - Posizione 620
X TUTTO CONTA
Evidenzia (giallo) - Posizione 622
Bayes' Theorem not only tells us when to revise our probabilities, but how much to revise
Evidenzia (giallo) - Posizione 634
In cognitive science, Bayesian reasoner is the technically precise codeword that we use to mean rational mind.
Evidenzia (giallo) - Posizione 636
you may hear cognitive psychologists saying that people do not take prior frequencies sufficiently into account,
Evidenzia (giallo) - Posizione 642
A related error is to pay too much attention to p( X | A) and not enough to p( X | ~ A)
Nota - Posizione 643
x ALTRO ERRORE
Evidenzia (giallo) - Posizione 645
For example, if it is raining, this very strongly implies the grass is wet - p( wetgrass | rain) ~ 1 - but seeing that the grass is wet doesn't necessarily mean that it has just rained; perhaps the sprinkler was turned on,
Nota - Posizione 646
x ERBA BAGNATA
Evidenzia (giallo) - Posizione 655
science itself is a special case of Bayes' Theorem;
Evidenzia (giallo) - Posizione 655
experimental evidence is Bayesian evidence.
Evidenzia (giallo) - Posizione 656
when you perform an experiment and get evidence that "confirms" or "disconfirms" your theory, this confirmation and disconfirmation is governed by the Bayesian rules. For example, you have to take into account, not only whether your theory predicts the phenomenon, but whether other possible explanations also predict the phenomenon.
Nota - Posizione 658
x LA SCIENA È BAYESIANA
Evidenzia (giallo) - Posizione 658
Karl Popper's falsificationism
Evidenzia (giallo) - Posizione 659
the old philosophy that the Bayesian revolution is currently dethroning.
Evidenzia (giallo) - Posizione 659
Karl Popper's idea that theories can be definitely falsified, but never definitely confirmed, is yet another special case of the Bayesian rules; if p( X | A) ~ 1 - if the theory makes a definite prediction - then observing ~ X very strongly falsifies A. On the other hand, if p( X | A) ~ 1, and we observe X, this doesn't definitely confirm the theory; there might be some other condition B such that p( X | B) ~ 1, in which case observing X doesn't favor A over B. For observing X to definitely confirm A, we would have to know, not that p( X | A) ~ 1, but that p( X | ~ A) ~ 0, which is something that we can't know because we can't range over all possible alternative explanations.
Nota - Posizione 664
x POPPER UN CASO SPECIALE DI BAYES
Evidenzia (giallo) - Posizione 664
For example, when Einstein's theory of General Relativity toppled Newton's incredibly well-confirmed theory of gravity, it turned out that all of Newton's predictions were just a special case of Einstein's predictions.
Nota - Posizione 666
x BAYES POPPER... NEWTON E EINSTEIN
Evidenzia (giallo) - Posizione 677
Falsification is much stronger than confirmation.
Evidenzia (giallo) - Posizione 685
Popper's idea that there is only falsification and no such thing as confirmation turns out to be incorrect.
Evidenzia (giallo) - Posizione 686
Bayes' Theorem shows that falsification is very strong evidence compared to confirmation, but falsification is still probabilistic in nature;
Nota - Posizione 687
x TUTTO È PROBAB
Evidenzia (giallo) - Posizione 687
not governed by fundamentally different rules from confirmation, as Popper argued.
Evidenzia (giallo) - Posizione 689
Hence the Bayesian revolution.
Evidenzia (giallo) - Posizione 715
A is the thing we want to know about. X is how we're observing it;
Evidenzia (giallo) - Posizione 715
X is the evidence
Evidenzia (giallo) - Posizione 729
In a sense, p( Q | P) really means p( Q& P | P), but
Evidenzia (giallo) - Posizione 735
p( Q), the frequency of "things that have property Q within the entire sample",
Evidenzia (giallo) - Posizione 805
Bayes' Theorem binds reasoning into the physical universe.
Nota - Posizione 806
MENTE&MONDO. RAZIONALITÀ APPLICATA
Iscriviti a:
Post (Atom)