Jan Gildemeester woonde als vrijgezel bij zijn vader in een huis op de Keizersgracht, waar hij begon met het aanleggen van een kunstverzameling. Zijn ouders waren enkele jaren na de aardbeving van 1755 met hun twee zoontjes naar Holland gekomen.