More responses, this time Daniel Simons/Dave Nussbaum

Daniel Simons
“The expectancy effects study is rhetorically powerful but proves little. In their Experiment 1, Doyen et al. tested the same hypothesis about priming stereotypes that Bargh tested. But in Experiment 2, Doyen et al. tested a hypothesis about experimenter expectancies. That is a completely different hypothesis. The second study tells us that experimenter expectancies can affect walking speed. But walking speed surely can be affected by more than one thing. So Experiment 2 does not tell us to what extent, if any at all, differences in walking speed were caused by experimenter expectancies in Bargh’s experiment (or for that matter, anywhere else in the natural world outside of Doyen’s lab). This is the inferential error of confusing causes of effects with effects of causes. Imagine that Doyen et al. had clubbed the subjects in the elderly-prime condition in the knee; most likely that would have slowed them down. But would we take that as evidence that Bargh et al. had done the same?”

I was waiting for this to be said. Thank you, sir.

“The inclusion of Experiment 2 served a strong rhetorical function, by planting in the audience’s mind the idea that the difference between Bargh vs Doyen Exp 1 was due to expectancy effects (and Ed Yong picked up and ran with this suggestion by referring to Clever Hans). But scientifically, all it shows is that expectancy effects can influence the dependent variable in the Bargh experiment. That’s not nothing, but anybody who already believes that experiments need to be double-blind should have seen that coming. If we had documentary evidence that in the actual 1996 studies Bargh et al. did not actually eliminate expectancy effects, that would be relevant. (We likely never will have such evidence; see next point.) But Experiment 2 does not shed nearly as much light as it appears to”

Which was an idea popularised by Ed Yong. Nevertheless, it is a free-standing experiment including assumptions that were not present in Bargh’s study.

“That is, just because the original study could reject the null and the replication could not, that doesn’t mean that the replication is significantly different from the original study. If you are going to say you failed to replicate the original result, you should conduct a test of that difference.

As far as I can tell neither Doyen et al. nor Pashler et al. did that. So I did. I converted each study’s effect to an r effect size and then comparing the studies with a z test of the difference between independent rs, and indeed Doyen et al. and Pashler et al. each differed from Bargh’s original experiments. So this doesn’t alter the present discussion. But as good practice, the replication reports should have reported such tests.”

Again an insightful view of current events.

Dave Nussbaum contributes greatly to the understanding of conceptual and direct replication and the importance of these concepts. It also comes closer to my own opinion on why the Perception-Behaviour Link-experiments would be hard to ‘replicate’.

It is motivating to see the discourse focuses more and more on underlying issues rather than the symptoms. I am inclined to, still, believe that the controversy surrounding the specific Bargh study has to do with the underlying theory. I am however leaving that in my literature review, time to focus on the presentation of it instead ^^.

Matthew Lieberman’s response and solution

There was a solution posted in a recently started blog by Matthew Lieberman that focuses on direct/conceptual replications. His solution is indeed a very interesting one; add to the curriculum of graduate students in their first or second year that they replicate findings of studies previously nominated to be so. While comments on it are pessimistic (with justified reasoning), I do hope it resonates within the scholarly psychology community.

A personal take on Lieberman’s response is that I probably would not have minded to see this added to my own curriculum. I may not be all too pleased but considering how much one would learn by replicating something that has worked before, I may not be too peeved about it. Also, getting a name on a publication would be a pretty sweet bonus. Of my severely limited insight into other universities ‘caring and nurturing’ of aspiring scientists, some are better (and some worse) in picking up their students and involving them in the ongoing research. Maybe Lieberman’s idea would go a decent amount of the way to attenuate this issue as well.

Ed Yong’s response and a few comments

Ed Yong’s initial coverage* of Doyen’s** and Bargh’s*** study was, in my opinion, quite brutal. I have been taught through my undergraduate to criticise constructively and I do not think the initial post has the depth to do so. For example, a close look at Doyen’s study indicates that one of the few last alternatives at explaining participant’s slower walking speed was experimenter expectation (and a very well conducted piece of research to demonstrate it). The difference in the walk-fast/expect-fast condition was explained by the difference between manual and automatic measuring, not so in the walk-slow/expect-slow condition. I wrote this in my previous blog entry too, but with a different emphasis. This finding means that an environmental stimuli (experimenter expectation manifested in subtle behaviour) was internalised by the participants and subsequently affected observable behaviour (walking slower). This entails that the Doyen study, in fact, supports the original proposition of the Perception-Behaviour Link. This mitigates my criticism of Bargh’s work, since, the theory from which he based his 1996 experiment was conceptually replicated in the Doyen study. The PBL is not mentioned in Ed Yong’s initial coverage.

In Ed Yong’s reply**** to Bargh, he mentions Doyen to “[have] timed volunteers with infrared censors rather than a stopwatch” But they timed both with sensors and manually. This was one of the central reasons that they came to the conclusion that experimenter expectation was the only alternative left to explain their result.

It does strike me from having reviewed large parts of the literature surrounding priming that the published articles are all conceptual replications. The studies following Bargh et al. (1996) have differences in methodology to that study. The issue that has been raised in comments to Bargh’s reply to Ed Yong is that “purer” replications that have not given the same results are subject to the file-drawer phenomenon. I.e. publishers have not accepted them and so they’ve been put in the file-drawer. The issue with this statement is obviously that it is very hard to know (for an outsider like myself) if publishers have denied these studies because they show null-results (not very exciting and from comments it seems there are other rather valid reasons for them not to publish these) or if they contain errors of various types (making them unpublishable).

In either case, I believe I argue in my literature review, strongly, for the theory underlying priming (the Perception-Behaviour Link) but at the same time believe that researchers are getting ahead of themselves and testing advanced hypotheses, when really what this theory needs is the grunt-work of establishing even its simplest tenets. Be that an actual replication of the methodology in Bargh et al. (1996), even though I believe there exist other research more suitable to exemplify the Perception-Behaviour Link.

I should have chosen another topic to do my 30-page literature review on.


Bargh, Doyen and conclusions thereof.

I have just witnessed an interesting phenomenon.

I am concurrently to writing this blog-post, writing a literature review on priming and the Perception-Behaviour Link*. Another paper whom closely replicated the findings of Bargh et al. (1996)*, Doyen et al. (2012)**, were unable to replicate findings as well as provide an interesting demonstration of experimenter expectation. It is however presumptious to assume that the original literature* then also is explained by this bias. The reason is given in a reply by Bargh*** to the Doyen study, basically stating that the experiment was run as a blind study and so experimenter expectation can be safely ruled out. While Bargh’s reply unfortunately contains personal attacks and evidence towards being technologically unwilling, he is defended by others in that his experiment _has_ been replicated successfully and that one study cannot refute several made on the same topic. The studies given (by others than Bargh -he did not give any studies as support in his criticism) as support for this claim are these; Elderly prime effect on simulated driving speed, Gay male prime effect on hostility, elderly or youth prime effect on walking time and accessibility as precursor to goal-fulfilment and high vs. low self-conscious difference in being primed by an elderly stereotype on walking speed (xps 2 & 3). I have reviewed one of these in my literature review and it is at best a conceptual replication with several issues in methodology and statistical interpretation (specifics available on request).

In my book, it is not enough to conceptually replicate, since one is then stuck with reviewing another piece of research with its own flaws and fallacies. Granted, Doyen comes close to replicating but did differ on the point of blind experimenters (it was one of the manipulations in Doyen). The assumption was that Bargh’s work was non-blind (something I came to the conclusion of as well, although I’ve read the paper a gazillion times). This was not the case, and hence, it is also a conceptual replication. What _is_ interesting with the Doyen study is that it still supports the PBL, albeit unintentionally. The most important statistic presented is the believe-slow-walking speed comparison between automatic and manual measurement. Believe-fast-walking’s significant difference was removed when considering both automatic and manual, not so for believe-slow. A last alternative for this significant difference is then experimenter expectation. The thing is though, experimenter expectation is also an environmental stimuli that is unconsciously internalised and evidently had an effect on observable behaviour! Well, this is what the Preception-Behaviour Link strictly posits.

Again, it is a bit of a shame that many of the arguments Bargh uses in his criticism of the Doyen study are arbitrary, unsupported and, on occasion, false in light of other research (even some from the area of priming)****. It does however not reflect on his prior research. In conclusion, Doyen does not specifically cut Bargh’s research down, but rather, introduces another concept able to be accounted for within the Perception-Behaviour Link’s framework.

On a second note, if you have unpublished research on the replication of Bargh et al.’s 1996 study, I would very much like to read it. I believe it is of central importance to be open-minded to one’s own fallacies and others’ criticism (even if I very much like the Perception-Behaviour Link theory), the only way is forward and it is only obstructed when self-preserving opinions and values are set before empirical research.

*Bargh, J.A., Chen, M., & Burrows, L. (1996). Automaticity of social behaviour: Direct effects of trait construct and stereotype activation on action. Journal of Personality and Social Psychology, 72, 230-244.
**Doyen, S., Klein, O., Pichon, C., & Cleeremans, A. (2012). Behavioural priming: It’s all in the mind, but whose mind? doi:10.1371/journal.pone.0029081
***Bargh, J.A. (2012, March 5). The natural unconscious: Nothing in their heads. [Web log post]. Retrieved from´
****See comment section of Bargh’s blog post, specifically the one referring to Assimilation and Contrasting (which is found in Dijksterhuis, A., Spears, R., Postmes, T., Stapel, D.A., van Knippenberg, A., & Scheepers, D. (1998). Seeing one thing and doing another: Contrast effects in automatic behaviour. Journal of Personality and Social Psychology, 75, 862-871.)

Kent – Ensammast i Sverige

Ner från minus femtio grader
Mannen bredvid stinker svett
Vi går ner i varma mörker
Jag gör dig arvlös på en servett
Och jag ser dig på terminalen
Som en hägring en Prada-klon
Jag har gömt behov i sjalen
För just en sån här otänkbar situation.

Jag gick långsamt fram mot bordet
Med min avvaktande blick
Över munnen mitt i orden
slog du till så hårt det gick
Och jag såg hur du tyckte om det
Från nästan bottenlös tristess
kom det kärleksvarma våldet
och vinet spills blir bleka rorschach-test.

Jag ser nån vid ett rödljus
Samma NK-paraply
Och nånstans i min plånbok
glöder en post-it från -97
Där tio kulspetsblå små siffror
skriker våga utan ord
Men ögonblicket glider undan
som skuggorna från små grå lätta moln.

Jag ser din rygg från taxin
fast jag vet att du har flytt
från det kalla, tysta landet
Jag stampar torkarbladens rytm
Och jag minns ingenting som hände
men jag kallsvettas ändå
VM i att hålla färgen tyck synd om mig
jag är ensammast i Sverige.

Och jag drog med dig i mitt fall
Och sen gled jag bara undan
Så förlåt, förlåt för allt
För min förbannade kluvna tunga
Jag har ett foto någonstans
Där vi är drottningar och kungar
Nu ligger bilder överallt
där gamla ansikten är unga
Och jag har letat som besatt
efter känslor som är försvunna
Och det har varit en lång, lång natt
men jag är glad att mina tårar
är behärskade och lugna.

Vad jag presenterar är en version av hur man kan tolka låten. Jag känner att denna tolkning enbart delvis stämmer, där finns ett par inkonsekventa sångrader om man accepterar nedan tolkning.

Den inleds klassiskt Kentlyrik, “Ner från minus femtio grader”, antyder på ett förhållande mellan två situationer där ena partnern (i ett förhållande) är oerhört kylig men sen går till normal temperatur (dvs bete sig vanligt), men då blir partnern ändå inte snällare/bättre för han-“mannen bredvid stinker svett”, en metafor för att han är en ulv i fårakläder, “bredvid” används som ett svagt ord för mannen i hennes liv. “Vi går ner i varma mörker”, värme positivt, mörker negativt, en sorts falsk positivitet för att visa att det är en trygghet att leva med honom (som med vilken annan partner skulle jag tro) men en falsk sådan för värmen är inte god, värmen finns i mörkret.

“Jag gör dig arvlös på en servett”, kan vara att den är så pass betydelselös att man inte bemödar sig med annat än att ‘känslomässigt göra någon arvlös’ och det på en servett. Hon ser sin man “på terminalen”, bara ett annat sätt att säga när hon ser honom (tänker på honom) eller att tryggheten han ger henne är en ‘Prada-klon’, innehar inget annat än ytlig pålitlighet. Han “ser dig på terminalen som en hägring, en Prada klon”. Nästan bokstavligt, en Prada-klon har inget värde förutom att utsidan liknar något som har värde. Därför blir ‘en Prada-klon’ en metafor för en hägring. Och en person som är så svag och falsk som en som slår sin partner -är lik en ‘Prada klon’. “Jag har gömt behov i sjalen, för just en sån här otänkbar situation”. Det som händer senare i låt-texten är en otänkbar situation (anspelar på våld i hemmet), dem ‘gömda behoven’ är överlevnadstankesätt eller överlevnadsbeteenden som gör det uthärdligt att stanna i förhållandet.

Man landar i andra versen med “över munnen mitt i orden slog du till så hårt det gick”, indikerar ett fysiskt aggressivt förhållande. Alternativt kan det menas med en verbal våldsamhet (som är lika illa som fysiskt våld). Men senare i vers två så går dem in specifikt i en situation där det “kärleksvarma våldet” gillas av motparten kanske grunden till det är för det är “bottenlös tristess” där någonting, vad som helst, behövs för att göra en grå vardag färgsprakande -även om det är destruktivitet som utlöser det. “vinet spills och blir till Rorschach test”, emotionen ska väl antydas vara att beteendet som ledde till att vinet spilldes ut beskriver någon som skulle behöva göra ett Rorschach test.

Därefter i vers tre får man en glimt av en tankebana av partnern som blir slagen, en dröm om en person, en svunnen kärlek. Först nämns personen för att en annan har “samma NK-paraply” och därför påminner om personen. Också “någonstans i min plånbok” ligger en “post-it från -97” där det finns ett nummer till denna person. Sedan använder dem sig av kontrast för att öka den känslomässiga betoningen på “skriker” genom att avsluta föregående mening med “kulspetsblå små siffror”. Något litet som är så starkt känslomässigt att den “skriker våga utan ord”. Men såklart så “ögonblicket glider undan” och med en metafor till “små grå lätta moln” lämnar vi den tankebanan.

I vers fyra åter igen får vi en glimt av tankebanan, en vilja att ‘råka stöta på’ personen som partnern drömmer om får denne att “ser din rygg från taxin” men hon/han vet att han/hon inte är där för “du har flytt från det kalla tysta landet”. Här trängar en oerhört stark känsla igenom, ‘det kalla tysta landet’ där våld är ignorerat (av kalla personer) och är förbisett (av tysta personer) -det är en metafor för Sveriges befolknings synsätt på våld i hemmet samtidigt som det är en känslosam bild av Sverige klimatmässigt. Sedan “stampar torkarbladens rytm” är en dold metafor för att det regnar och hon/han står och tittar bort mot ryggen hon/han trodde var honom/henne. Regn som i så många andra låtar menas naturligtvis att det är ledsamt, ensamt.

I vers fyra späs bilden av svenskar på genom en metafor till ett “VM i att hålla färgen”, den som håller mest inne och inte visar sina sanna känslor vinner. Men trots det, individuellt, vill vi att folk ska “tyck synd om mig för jag är ensammast i Sverige”. “Och jag drog med dig i mitt fall och sen gled jag bara undan” anspelar på att personen tappade fotfästet och istället för att ta hand om det ensam så drog on/han med sig partnern och när dem nått botten så lämnade han/hon partnern att ta hand om sig själv. “så förlåt förlåt för allt för min förbannade kluvna tunga”, en enkel en, bedjan om ursäkt för alla lögner (som antagligen var det som drog dem båda neråt). Sen sätter denna mening även stämningen väldigt lågt för att sedan i nästa vers börja längta till en svunnen tid med hopp och kärlek.

I vers fem, berättaren menar att hon/han har ett foto någonstans på personen (mentalt i minnet eller fysiskt i ett gammalt fotoalbum), ett positivt minne eller ett foto i en positiv situation med denna människan för i fotot är dem “drottningar och kungar”. “Det har varit en lång lång natt” kan återigen tolkas fysiskt att personen var uppe hela natten och letade efter gamla bilder eller bara en anspelning på att hon har letat länge tidsmässigt eller att det kändes som en evighet för personen. “nu ligger bilder överallt” anspelar på ett nästan kaotiskt letande efter personen och menar sedan att fotona är från en svunnen tid (känsloförknippat med en längtan tillbaka) för att “gamla ansikten är unga” -han är gammal nu men bilderna visar unga människor. Och dem positiva känslorna som var förknippade med den personen “känslor som är försvunna”, är nu borta men det hindrar inte henne från att leta efter det som en gång var så positivt i hennes liv, kärlek (och förmodligen utan våld). Och den enda tröst ‘den ensammaste personen i Sverige’ har är att hennes “tårar är behärskade och lugna”. Hon säger att ja hon är ledsen och deprimerad, utgör sig till martyr, men låtsas som om det är ok och bra när det egentligen inte är det, för att erkänna detta för sig själv skulle kräva att hon ändrar sin situation och inser vad hon har accepterat hänt mot henne, vilket hon inte klarar av.

Fruktansvärt emotionell sång som kortfattat handlar om en försvunnen kärlek där personen nu är i ett våldsamt förhållande och längtar tillbaka till tiden med den försvunna kärleken. Låtens text visar också en kort men stark bild av ignorans och förbiseende av inställningen vi har till våld i hemmet i Sverige. Helt fantastisk låt.