Sea como fuere, el recinto, ahora ocupado en parte por el actual parque del Retiro se creó sobre la finca que el conde-duque regaló a Felipe IV y que llegó originalmente hasta el actual paseo del Prado y la actual plaza de Cibeles.