Maleren Edvard Munch eide fra 1910 nabogården til Olsen-familiens hovedsete i Hvitsten. Gjennom vennskapet med Munch tilegnet Thomas Olsen og kona Henriette seg mange kjente malerier, blant annet et eksemplar av . Mot slutten av 1930-årene overtok også Olsen flere Munch-bilder gjennom kunsthandleren Harald Holst Halvorsen, som hadde reddet 14 bilder som var blitt stemplet som «Entartete Kunst» av nazistene i Tyskland. De totalt 34 Munch-bildene i Thomas Olsens eie førte i 2001 til rettssaker mellom de to sønnene Fred. Olsen og Petter Olsen (1948–), der sistnevnte til slutt vant retten til å arve samlingen.