Nach seinem Amtsantritt legte Präsident Andrew Johnson im Februar 1866 während des Wiederaufbaus sein Veto gegen die Wiederzulassung und Finanzierung des Büros ein. Es wurde schließlich 1872 auf Druck der weißen Abgeordneten aus den ehemaligen Südstaaten aufgelöst.