El papa Clemente VIII fue el primer pontífice en residir en Castel Gandolfo, pero la reconstrucción del viejo castillo fue un proyecto del papa Urbano VIII quién entró en la residencia en 1626.