En 1841 el palacio pasó a ser el Colegio Naval Militar.