La fachada descrita cuyo dibujo en el "Semanario Pintoresco Español" tiene la firma de Cruz, desapareció hacia 1855. En 1858 ese lugar fue reemplazado por el parque de Osuna. Existe documentación de 1587 sobre obras de reforma en algunos lugares del palacio. Las obras fueron dirigidas por el arquitecto Juan de Hermosa ayudado por los carpinteros Pedro Hernández y Francisco Sahagún. El palacio fue incendiado y destruido después de la batalla de Moclín.