Durante el gobierno de Ramón Castilla, el palacio vivió quizá su mejor época ya que fue enriquecido por él con varias obras de arte.