Questo mi ricorda una storia che ho sentito nelle statistiche che coinvolgono un'affermazione da parte di una donna secondo cui poteva distinguere tra l'aggiunta di latte al tè e l'aggiunta di tè al latte. Uno statistico ha sentito questo aumento e ha deciso di progettare un esperimento per determinare se la sua affermazione fosse accurata. Se usi solo due tazze, una con l'aggiunta di latte e una con l'aggiunta di tè, beh, anche io ho il 50% di possibilità di scegliere correttamente semplicemente scegliendone una a caso. In realtà non ci dice nulla se sceglie quello con l'aggiunta di latte.
È possibile utilizzare le statistiche per stimare la probabilità che i risultati osservati possano essere spiegati da qualcuno che sceglie solo a caso tazze di tè. Se tale probabilità è bassa *, c'è una possibilità statisticamente significativa che ci sia qualcos'altro per spiegare i risultati (cioè che il tester può assaggiare può dire la differenza). Idealmente, lo scienziato progetterà gli esperimenti in anticipo in modo che sappiano quale livello di significatività possono aspettarsi alla conclusione dell'esperimento. L'uso di 2 tazze di tè ci dà una probabilità del 50% che il caso casuale spieghi la soluzione, quindi non è molto significativo. Risulta che un esperimento da 8 tazze, 4 con latte aggiunto e 4 con tè aggiunto, rende molto più difficile identificare correttamente le 4 tazze con latte aggiunto se le selezioni a caso. Infatti, c'è solo un 1,4% che qualcuno selezionerà correttamente le 4 tazze. Se la donna ha successo, c'è un'alta probabilità che possa effettivamente discernere la differenza. Se ne avesse anche una sbagliata, tuttavia, quell'affermazione non sarebbe statisticamente valida (c'è una possibilità quasi 1 su 4 di ottenere tre tazze su quattro corrette se le selezioni a caso - non terribilmente impressionante).
La tua domanda sulla pasta è quasi esattamente la stessa della domanda sul tè: una persona può dire la differenza tra il cibo A e il cibo B. Solo invece di aggiungere il tè al latte o il latte al tè, esamini la pasta americana contro la pasta italiana. L'esperimento del tè richiedeva al bevitore di scegliere correttamente quelli a cui era stato aggiunto il latte. Se sei interessato solo a sapere se i tuoi ospiti possono dire la differenza nel, ma non necessariamente se possono identificare correttamente quale è statunitense e quale è italiano, un esperimento simile raggiungerebbe solo un livello di significatività 2 * 1,4% = 2,8%. Ancora abbastanza buono.
Ovviamente preparare 8 piatti per ospite può essere un po 'faticoso. Se fai 6 piatti, con 3 americani e 3 italiani, avresti ragione al 5% di significato se un ospite sceglie correttamente le paste. L'uso di 4 piatti ti darebbe un significato di 1/6 (16,7%) e 3 piatti darebbe solo un significato di 1/3 (33,3%). Sta a te determinare quanta fiducia desideri e quanto lavoro vuoi dedicarci;).
Nota che questi numeri si riferiscono a un singolo individuo che prova i piatti. Supponendo che tu abbia un numero di ospiti, l'analisi diventa più complicata, poiché stai aggiungendo una variabile aggiuntiva (ogni individuo è diverso). In generale, avere più ospiti ti aiuterebbe con la fiducia che c'è una differenza nelle paste ... se sono tutti in grado di superare qualsiasi test tu abbia impostato. Se solo una manciata lo è, è molto più difficile trarre conclusioni.
* La scelta della probabilità obiettivo che il caso casuale possa spiegare le osservazioni (l'ipotesi nulla) è arbitraria. Una probabilità inferiore significa che hai più fiducia nelle tue osservazioni, ma richiede più lavoro. In molti campi scientifici, un livello del 5% è considerato "statisticamente significativo", ma c'è un respingimento che dovrebbe essere utilizzato un livello molto più piccolo, come accennato da @ doneal24 nei commenti.