El banco quebró al cabo de pocos años y en 1980 el palacio pasó a manos del Estado, que lo empleó para albergar varias exposiciones temporales del vecino Museo del Prado, entonces acuciado por necesidades de espacio.