Statistiska modellers vansklighet och hur man kan undvika att tolka och använda dem på fel sätt

Statistiska modellers vansklighet och hur man kan undvika att tolka och använda dem på fel sätt

  • Posted on: December 1, 2019
  • By:

Statistik av mer eller mindre avancerad art och dess tillhörande modeller är lite av en gift and a curse. Statistik visar hur saker är eller har varit, men kan sällan säga någonting om framtiden – åtminstone på lång sikt – och hur modellernas utfall bör tolkas. Nyligen fick jag en del roliga citat av en god vän, som själv är matematiker, bland annat detta av statistikern Ronald Harry Coase: “If you torture the data long enough, it will confess to anything”. Han tipsade även om detta, “All models are wrong. But some are useful.”, som jag även har sett i boken Complexity (2009).

Med andra ord är det viktigt att det man stoppar in i en modell, till exempel multipel icke-linjär regressionsanalys är av god kvalitet och tillförlitlighet. Det är även av av vikt att modellerna kan mäta det som de är avsedda att mäta. Det handlar då om den interna validiteten. Inom personlighetspsykologi använder man sig av frågeformulär, som är nästan men bara nästan lika tillförlitliga som standardiserade IQ-tester. Men det är inte bara mätinstrumentet som avgör utan även sample size, storleken på den data som finns i form av observationer. Nya programvaror som R kan hantera stora datamängder. På sätt och vis har därmed den statistiska forskningen gått framåt, men de underliggande eller relaterade stötestenarna finns alltjämt kvar.

I ett senare skede handlar det som sagt om att tolka den statistik som finns eller tillkommit efter en dataanalys. Här kan man ta del av en välgjord studie om fetma ur ett globalt perspektiv där alla steg – inklusive metod, dataanalys, resultat och tolkning – är inkluderade och noggrant redogjorda för. I detta fall blir de valda teoretiska utgångspunkterna centrala för tolkningen – moderniseringsteori implicerar ett linjärt förhållande mellan ekonomisk utveckling och BMI, där människor steg för steg blir slankare, hälsosammare och mer demokratiska. Men så ser det inte ut på global nivå – trots likartad utveckling är Japans befolkning mycket slankare än USA och Australiens dito. Men samma teori kan även tolkas som att urbaniseringen leder till övervikt via den mat som ofta äts i städer. Även i andra avseenden kan den typiska eller klassiska moderniseringsteorin ifrågasättas; det finns även reviderade varianter. Här är ett långt, illustrativt citat från studien:

Adherents to this revised version of modernization theory, while still viewing development as unfolding in a relatively evolutionary and teleological manner, regard the process of economic development not as one unleashing a “virtuous circle,” but instead a “vicious circle” of rising expectations coupled with the inability of the state to respond to the growing demands of an increasingly engaged but thwarted populace. For instance, Szreter [70] has observed that rapid economic growth may actually cause health to get worse before it gets better generating more of an inverted-U shape relationship between development and disease burden. He attributes this to what he calls the “four D’s”- “disruption” of traditional ways of doing things, increasing relative “deprivation” followed by increases in “disease” and “death.”

In a similar vein to Szreter’s inverted U-shape relationship between development and health improvements, but operating at the individual level, the literature on the social determinants of health makes a distinction between diseases associated with absolute poverty and diseases that tend to be associated with relative poverty (e.g., [38, 39]). Examples of diseases associated with absolute poverty include malnutrition, diarrheal disease, and what are now considered to be neglected “tropical” diseases. These diseases are believed to be subject to a threshold effect such that once an individual is no longer exposed to the conditions that give rise to these diseases (i.e., vectors and disease hosts associated with a lack of sanitation, potable water, adequate nutrition, etc.), these diseases tend to decline on their own [38]. These diseases of poverty do not form social gradients and should in theory decline linearly with economic development.

By contrast, diseases of affluence associated with relative poverty should increase with development and then level off. Present day middle-income countries are beginning to experience what has come to be known as the “double disease burden”- or the coexistence of undernutrition and overnutrition-related non-communicable chronic diseases [67]. Risk factors associated with the lifestyles of a growing “leisure class” including changes in diet (the nutrition transition), smoking, and exercise that initially accrued to the rich in now developed countries are only just now emerging in the burgeoning middle classes of developing countries, whereas in rich countries the gradients in these lifestyles reversed decades ago [76]. Thus, middle income countries should have the highest overall burden of disease and one would expect obesity rates to be the highest in middle income countries that are presently in the midst of the nutrition transition.

Detta är i sin tur en del av slutsatsdiskussionen: “Moreover, in high income countries, the models suggested that economic globalization may be associated with lower mean BMI. This result was robust to multiple model specifications and is consistent with results from prior studies [10, 11, 24, 35]. In fact, consistent with prior studies, in models with unimputed data, we found evidence of a consistent negative relationship between economic globalization and BMI including in LMICs.” (LMICs = Low-to-Middle Income Countries)

Åter till den statistiska analysen kan en del av lösningen vara att göra en robustness check som visar på den strukturella validiteten i den empiriska modelleringens utfall. Dock är inte heller robustness checks helt tillförlitliga och kräver att man, återigen, är kritisk beträffande vilka variabler som stoppas in i dataanalysen. I det här fallet ser det ut som att de alternativa input-variabler som har gjorts i robustness check-modellerna är relevanta, men det saknas en kritisk diskussion kring den beroende variabeln, BMI, som kan vara en aning missvisande i länder med högre grad av muskulär utveckling och/eller annan morfologisk struktur, vilket leder till högre BMI än vad som speglas andelen underhudsfett. En man i USA eller Norge som är 190 cm och väger 100 kilo klassas som överviktig enligt BMI-index. Dock verkar författarna vara medvetna om trubbigheten i flera av de oberoende variabler, som alltså förklarar den beroende variabeln.

Sammantaget får detta ses som en väl genomförd studie men det går att hitta brister, och sannolikt fler än jag har identifierat i denna kortfattade utläggning. För det krävs bland annat att man återanalyserar data (replicability criteria).