Museet er lokalisert i en bygning som en gang fungerte som bolig for biskopene i Montauban. Strukturen er hovedsakelig fra 1600-tallet, men deler er eldre, særlig et underjordisk kammer kjent som Salle du Prince Noir («Den sorte prins hall»). Under den andre verdenskrig fungerte Musée Ingres for en tid som et midlertidig sted å oppbevare Leonardo da Vincis kjente maleri som ble evakuert fra Louvre i Paris ved begynnelsen av krigen. En renovasjon som ble utført i tiden mellom 1951 og 1958 gjorde Musée Ingres til en moderne institusjon i henhold til kravene for sin tid, utstyrt med ekstra lagerbeholdning.