Se si prendono come riferimento i criteri di qualita' forniti dall'American Association for Public Opinion Research, quelli adottati dall'associazione delle imprese italiane di categoria appaiono piu' laschi per un elemento chiave: non viene richiesta l'adozione come standard di un campionamento probabilistico, che garantisce la base scientifica dei risultati secondo la teoria della statistica.
Le imprese committenti di ricerche di mercato possono essere disposte ad accettare metodi non fondati su base probabilistica, ad esempio per ridurre i costi di indagine. L'uso politico dei sondaggi di opinione impone, invece, il rispetto di criteri di qualita' maggiormente fondati dal punto di vista scientifico, assimilabili a quelli che devono essere rispettati dalle statistiche ufficiali. Sarebbe fondamentale poi consentire l'accesso ai dati individuali delle interviste, resi opportunamente anonimi: una condizione, considerata imprescindibile dall'associazione americana perche' si possa verificare la qualita' delle analisi, ma non prevista nel nostro paese.
Quali criteri assicurano un'elevata qualita' dei sondaggi? L'associazione americana , che gode di un elevato livello di credibilita' scientifica, stila dodici linee guida per le indagini di opinione. Alcune ci interessano in modo particolare.
- Il campione deve rappresentare bene la popolazione oggetto di indagine. Secondo questo approccio: "virtualmente tutte le indagine considerate seriamente dagli scienziati sociali, dai politici e dai mezzi di informazione utilizzano una forma di campionamento casuale o probabilistico, i cui metodi sono ben radicati nella teoria della statistica e nel calcolo delle probabilita'. Stime affidabili ed efficienti possono essere ottenute indagando un campione della popolazione che sia costruito con cura, purche' una grande proporzione degli intervistati fornisca le informazioni richieste. In particolare, cio' richiede attente ed esplicite stime della distorsione causata dalle mancate risposte e della rappresentativita' del campione".
- Occorre fare molta attenzione nella formulazione delle domande ai concetti che si vogliono misurare e alla popolazione oggetto di indagine. I risultati di un sondaggio sono influenzati oltre che dalla formulazione delle domande, anche dal modo in cui sono poste e dalle categorie di risposta fornite a priori.
- Usare tecniche di analisi statistica e di descrizione dei risultati adeguate. Ad esempio, "risultati e interpretazioni dovrebbero essere presentate in modo onesto e oggettivo, riportando con completezza tutti i risultati rilevanti, inclusi quelli che possano sembrare contraddittori e favorevoli. Gli errori (...) devono essere esplicitamente considerati nell'analisi dei dati e nell'interpretazione dei risultati (...). Le conclusioni devono essere chiaramente distinte dai risultati fattuali, e occorre porre una grande attenzione al fine di assicurare coerenza tra le conclusioni e i risultati presentati".
- Rivelare la metodologia alla base dell'indagine allo scopo di permetterne valutazione e replicabilita'. Due aspetti sono fondamentali. La metodologia deve essere descritta in modo sufficientemente dettagliato, tale da poter permettere una possibile ripetizione dell'indagine da parte di altri ricercatori. Inoltre, "tutti i dati (a condizione di rispettare la privacy e la confidenzialita') dovrebbero essere pienamente documentati e resi disponibili per un esame indipendente".
L'Aapor condanna invece esplicitamente alcune scelte, tra cui una in particolare.
- Rappresentare i risultati di un'indagine fatta attraverso un numero "verde" o simili metodi come esito di ricerca "legittima". Le informazioni fornite da chi decide di telefonare o rispondere ad appelli specifici non rappresentano l'opinione pubblica generale. Secondo l'associazione "ogni pubblicita' o promozione per queste attivita' non solo danneggia le ricerche di mercato o di opinione legittime, ma puo' essere particolarmente fuorviante quando viene usata per influenzare le politiche pubbliche o semplicemente per disseminare informazioni sull'opinione pubblica".
Per i sondaggi di opinione esiste anche in Italia un'apposita regolamentazione, emanata dall'Autorita' per le garanzie nelle comunicazioni. L'obiettivo e' rendere i sondaggi "trasparenti, con committenti chiaramente identificati e metodologie di raccolta di tipo rigorosamente statistico". La regolamentazione definisce in particolare cosa debba intendersi per sondaggio, quali sono le caratteristiche che deve avere, indica le modalita' di pubblicazione e diffusione dei risultati, vigila sul rispetto delle disposizioni previste dal regolamento.
Punti di particolare interesse sono la definizione di sondaggio, ovvero l'indicazione "rigorosa" delle rilevazioni che possano essere considerate rappresentative della popolazione, e il contenuto della "nota informativa" tecnica, che deve sempre accompagnare la pubblicazione dei risultati.
Pur costituendo una fondamentale difesa contro il rischio di anarchia nella produzione di dati che pretendono di fornire ritratti autentici della realta' italiana, la regolamentazione presenta limiti rilevanti. La maggiore perplessita' riguarda l'inclusione tra i sondaggi "rappresentativi" anche di rilevazioni effettuate con criteri "non probabilistici". I campioni "non probabilistici" non consentono di valutare adeguatamente l'errore che si commette generalizzando i risultati dal campione alla popolazione. Eppure, nel regolamento dell'Autorita' tra le informazioni che devono essere contenute nel documento "metodologico" (articolo 3) vi e' "la 'rappresentativita'' dei risultati, in termini di 'margine di errore', al livello fiduciario del 95 per cento, delle stime ottenute" (1).
In altre parole, da un lato si consente di utilizzare un campione non probabilistico, ma dall'altro si impone che nella documentazione venga riportato il margine di errore, che un campione "non probabilistico" non puo' produrre. La regolamentazione dei sondaggi politico-elettorali (si veda l'articolo precedente) e' ancora piu' limitata.
Anche l'Associazione tra istituti di ricerche di mercato, sondaggi di opinione e ricerche sociali (Assirm) ha, oltre a un codice di autodisciplina, standard di qualita'. Alcuni di essi sono assimilabili a quelli dettati dall'Aapor. Altri sono sorprendentemente piu' laschi.
- Fondamento "scientifico" del campione. Nella parte dedicata alla "Raccolta dei dati" ad esempio, l'Assirm richiede, correttamente, che vengano dichiarate e documentate le scelte tecniche. Tra i criteri di campionamento, pero', viene incluso esplicitamente il "campione non probabilistico". Ci possiamo dunque legittimamente chiedere quanti sondaggi in Italia seguano effettivamente criteri di campionamento probabilistici, e quindi scientificamente fondati. Perche' criteri non considerati come "seri" sono pienamente legittimi?
- Accessibilita' ai dati. L'Assirm, nel codice di autodisciplina (articolo 42) prevede la diffusione delle informazioni metodologiche per le indagini cui viene data una diffusione presso il grande pubblico. Non viene pero' menzionata la possibilita' che i dati individuali opportunamente anonomizzati siano messi a disposizioni per analisi indipendenti.
il testo riprodotto e' tratto dal sito www.lavoce.info.