Før museet ble bygget sto sommerstedet Bellevue på eiendommen. Det ble bygget av Søren Cortsen i 1800 og kjøpt av Peder Valentin Rosenkilde i 1819. Det brant ned i 1864. Første del av Stavanger Museum ble bygget i 1893.