Survey-onderzoek en big data maken big survey

Marketing en marktonderzoek kennen vele mooie kwalitatieve en kwantitatieve methoden. In de laatste groep is online onderzoek veruit het grootste segment1. In tegenstelling tot in de USA, waar schriftelijk onderzoek zeker in combinatie met online onderzoek een trend2 is, wordt in Nederland klassiek schriftelijk onderzoek nog maar weinig gedaan.

Nieuwe loten aan de stam van onderzoeksmethoden zijn natuurlijk big data en digital analytics, maar intussen is de big data-hype alweer voorbij. En dan is het tijd voor… Big Survey!3

Deze zomer was de grote wereldconferentie van de European Survey Research Association (ESRA). De sessies over hoe surveys en big data succesvol gecombineerd kunnen worden4, werden goed bezocht. Big data houdt zich bezig met gedrag, met wat mensen waar en wanneer doen. Maar dan? Waarom doen mensen wat ze doen? Surveys vragen naar opinies en attitudes en kunnen antwoord geven op de waaromvraag.Kwalitatief onderzoek kan trends suggereren die alleen met big data aangetoond kunnen worden, en big data kunnen leiden tot hypothesen en ideeën die alleen met gericht survey-onderzoek getoetst kunnen worden. Een inspirerend voorbeeld is beschreven door Greg Mishkin, die aan de hand van een case-study bij het Amerikaanse AT&T laat zien hoe surveys en big data samen waardevol inzicht geven voor het ontwikkelen van proactieve en klantgerichte service5.

Paradata

Tijdens de ESRA conferentie liet Sarah Cho van Survey Monkey een tweede voorbeeld zien. Routinematig worden  van de respondenten een groot aantal paradata verzameld, zoals dag en tijd van invullen, wel of niet ingevuld op mobile device. Maar ook van de surveys zelf worden paradata verzameld, zoals het aantal vragen in een bepaalde vragenlijst, aantal open vragen, onderwerp. Deze gegevens vormen de basis van onder andere ‘best practice’-adviezen aan gebruikers, met als doel de kwaliteit van de met online survey verkregen data te verbeteren. Survey Monkey is zeker niet de enige die dit doet, ook Facebook gebruikt survey data in combinatie  met analyse van het Facebookgedrag (zoals liking, sharing) om Facebooks newsfeed te optimaliseren6, en ook  bij Google en Amazon wordt survey-onderzoek gebruikt.

Daniele Hochfellner en Antje Kirchner  van RTI en de New York University gaan nog een stapje verder. In navolging van Paul Biemer wijzen ze op het belang van het reduceren van de Total (overall) Error. Data verkregen via surveys, maar ook data verkregen via ambtelijke statistieken, of afkomstig van big datamethoden bevatten ‘error.’ Door gericht verschillende methoden te gebruiken worden deze foutenbronnen in beeld gebracht en door handig combineren van verschillende datasets kan de Total Error teruggebracht worden. We krijgen betere en schonere data. Als voorbeeld noemen ze het open data-initiatief van New York City, waar gerichte surveys zoals de community health survey en administratieve data gebruikt worden om in kaart te brengen welke groepen en welke wijken niet goed gerepresenteerd worden in de gepubliceerde data over veiligheid, milieu, vrije tijd, etc., die verkregen zijn met tracking en sensor data. 

Het waarom

Surveys en big data kunnen elkaar dus mooi aanvullen. Door meer methoden  te gebruiken, reduceren we fouten in onze gegevens en krijgen we een beter  en accurater beeld. Gegevens uit survey-onderzoek kunnen gebruikt worden als aanvulling van de naakte feiten: het waarom. Aan de andere kant kunnen we bestaande big data gebruiken om onze surveys te verbeteren en te verkorten, want waarom zou je respondenten lastig vallen als de antwoorden al beschikbaar zijn7? Daarnaast levert big data ook gegevens over heel grote aantallen en kan het gebruikt worden om relatief zeldzame, maar interessante groepen op te sporen, die daarna met surveys gedetailleerder onderzocht kunnen worden. Het is dan ook begrijpelijk dat Big Survey een nieuw buzzword gaat worden, zeker als het aan de organisatoren van de BIGSURV18-conferentie ligt die in oktober 2018 in Barcelona plaatsvindt8.

En laten we vooral niet vergeten dat nog steeds bij ieder onderzoek helderheid voorop staat. Wat is de vraag van de opdrachtgever, en hoe kunnen we die vertalen naar de juiste onderzoeksvraag? Waar gaat het om, wat is het echte probleem of de vraag waarmee onze klant zit, wat zou er gemeten moeten worden, in welke effecten is de klant geïnteresseerd, en hoe kunnen we die  in kaart brengen? De toekomst ligt niet alleen in het technisch combineren van surveys en big data, maar vooral in het bieden van helderheid, vakkennis, en perspectief. «

 

Auteur: Prof. dr. Edith de Leeuw is MOA-hoogleraar Methoden en Statistiek aan de Universiteit van Utrecht. Zij ontving de WAPOR-Helen Dinerman award 2017 for  life time contributions to the field of public opinion en de ESRA-award for outstanding services to survey research.

Lex Olivier, MOA Trendrapport 2016, CLOU, 2017, 82, 11-15 

2 Zie b.v. Don Dillman (2017) The promise and challenges of pushing respondents to the web in mixed-mode surveys. In Survey methodology, Juni 2017, http://www5.statcan.gc.ca/olc-cel/olc.action?objId=12-001-X201700114836&objType=47&lang=en&limit=0 

3 Edith de Leeuw (2015). Big data de hype voorbij. CLOU, 73, Juli 2015, p.11. at https://www.cloutoday.nl/actueel-marketing-insight-nieuws/2033-big-data-de-hype-voorbij 

4 Mario Callegaro & Yongwei Yang (Google  Brand Sudio) How surveys and big data can work together https://www.europeansurveyresearch.org/conference/programme2017?sess=70&day=1 

5 http://www.quirks.com/articles/2014/20140507.aspx 

6 https://newsroom.fb.com/news/2016/02/news-feed-fyi-using-qualitative-feedback-to-show-relevant-stories/ 

7 Frank Kelly & Phil Doriot. Using data mining and machine learning to shorten and improve surveys. Quirks 2017   https://www.quirks.com/articles/using-data-mining-and-machine-learning-to-shorten-and-improve-surveys 

8 https://www.bigsurv18.org/

Dit artikel is overgenomen uit Clou© nr 84, oktober 2017

Aanmelden Cloutoday