Folger var medlem av delstatssenatet i New York i perioden mellom 1862 til 1869, samt delegat til New Yorks konstitutisjonskonvensjon i 1867. Han var også delegat til republikanernes partimøte i 1868. I tiårsperioden mellom 1870 til 1880 var han dommer i New York Court of Appeals, og domstolens ordfører i 1880 til 1881.