Mentre la vittoria del nord nella guerra civile sembrava più imminente, Phillips, come molti altri abolizionisti, rivolse la sua attenzione alle questioni della ricostruzione. Nel 1864 tenne un discorso al Cooper Institute di New York. A differenza di altri leader abolizionisti bianchi come William Lloyd Garrison, Phillips pensava che la garanzia dei diritti civili e politici per i liberti fosse una componente essenziale della causa abolizionista anche dopo la fine legale formale della schiavitù. Insieme a Frederick Douglass, Phillips sostene che senza i diritti di voto, i diritti degli uomini liberi sarebbero stati "ridotti in polvere" dai bianchi meridionali.