El Gobierno dispuso el traslado al Panteón, pero por las obras y dilaciones que hubo de sufrir todo, su hijo el teniente de navío Rafael de Arias y Villavicencio solicitó que se hiciera al estar concluido su mausoleo en 1857.