Opprinnelig ønsket han å testamentere kunsten til staten. Etter den tyske invasjonen i 1940 var han bekymret for at okkupasjonsmakten dermed skulle overta arven. Han kontaktet advokat, og 18. april 1940 testamenterte han arven i stedet til Oslo kommune. I januar 1944, kort før han døde, skal han ha forsøkt å endre testamentet etter at Oslo kommune var overtatt av nazister. På den tiden var det vanlig at en takstnemnd skulle gjennomgå boet. Sorenskriveren utnevnte blant andre Jean Heiberg og Sigurd Willoch til nemnden, begge var antinazister, mens Søren Onsager ble fortørnet over å bli vraket. Etter takseringen ble bildene fraktet til Dikemark sykehus der de ble oppbevart til krigen var over. Det er uvisst om Terboven kjente til evakueringen.