孟八世最先入住甘多尔福堡。1624年教宗乌尔巴诺八世委派瑞士建筑师，巴洛克风格之父卡罗·马德诺（Carlo Maderno）重建甘多尔福古堡。此后，教宗亚历山大七世委任杰出的巴洛克雕塑家和建筑设计家济安·贝尼尼设计甘多尔福古堡广场的圣托马斯教堂。教宗庇护十一世加建毗邻的巴伯里尼别墅。从1870年至1929年，教宗别墅曾空置近60年。1929年教宗庇护十一世和贝尼托·墨索里尼签订了《1929年条约》，条约中规定教宗的甘多尔福堡别墅和毗邻的巴伯里尼别墅享有治外法权。此后庇护十一世重新到甘多尔福堡别墅避暑。教