A continuación, el palacio fue utilizado habitualmente por los papas como residencia en sus épocas de descanso, tanto que Juan Pablo II definió Castel Gandolfo como el "Vaticano Due" o «Vaticano Dos»; en estas ocasiones se recitaba el ángelus en el interior del patio.