宫博物馆设于宫殿广场北侧教皇宫对面一座14世纪建筑内，小宫如此命名是为了与教皇宫相区分。它建于天主教会大分裂之前的1318-1320年。天主教会大分裂期间曾遭战争破坏，15世纪下半叶，两位主教进行修复工作，其中第二位主教朱利安诺·德拉·罗韦雷，即后来的儒略二世。法国大革命期间，小宫被收归国有并出售，19世纪成为一所天主教中学（从1904年到1976年），后来成为专业技术学校。