该博物馆位于一座曾经作为蒙托邦主教官邸的建筑内。该建筑主要为17世纪，但有些部分要古老得多，尤其是被称为黑太子大厅（Salle du Prince Noir）的地下密室。在第二次世界大战期间，安格尔博物馆曾作为蒙娜丽莎的临时储存地之一，在战争开始时从卢浮宫撤离至此。