Nach dem Ende seiner Gouverneurszeit arbeitete Andrew wieder als Rechtsanwalt, wobei er sich besonders dem Scheidungsrecht widmete. Politisch distanzierte er sich von den harten Rekonstruktionsplänen der Radikal-Republikaner, die er noch während des Krieges unterstützt hatte. Gouverneur Andrew verstarb im Oktober 1867. Mit seiner Frau Eliza Jones Hersey hatte er fünf Kinder, darunter den 1850 geborenen Sohn John, der Abgeordneter im Repräsentantenhaus der Vereinigten Staaten wurde.