Selve bygget var tidligere prestegård, men etter kardinal Feschs død ble samlingen hans hengt opp i prestegården og gjort om til museum. Musée Fesch ligger sentralt i Ajaccio, kun minutter unna Casa Buonaparte.