I 1905 ble han kunstsamler i stor stil da han kjøpte verftseieren Ananias Dekkes etterlatte privatsamling. Han satte seg det mål å samle hver kunstner som hadde hatt noen betydning for norsk malerkunst og som viste maleriets utvikling gjennom tidene. Samlingen hans inneholder verk av de fleste store malere fra I.C. Dahl til Matisse-elevenes gjennombrudd i 1914. Hovedvekten er Edvard Munch med en enestående samling av malerier og grafiske blad. Samlingen inneholder også er stor del av Theodor Kittelsens arbeider og alle tegningene og skissene Gerhard Munthe laget til det store arbeidet med dekor av Håkonshallen. Dette ble ødelagt i eksplosjonsulykken på Vågen i Bergen i 1944.