Fra 1912 til sin død i 1920 eide Berg Viks slott i Uppsala der han blant annet hadde store kunst- og våpensamlinger.