El palacete (un edificio de dos pisos de planta rectangular, rematado por torres de finos chapiteles en sus extremos, muy del gusto de los Austrias), fue el resultado de la ampliación y transformación, llevada a cabo en 1636 por el arquitecto Juan Gómez de Mora, por iniciativa del propio Felipe IV, de una pequeña fortaleza con cuatro torres de esquina edificada por encargo del entonces príncipe, futuro Felipe II, al arquitecto Luis de Vega durante los años 1547-49.