Han var i store deler av sitt liv et aktivt og betydningsfullt medlem av Ordenen Odd Fellow. Det var Colfax som sørget for «likestilling» i Brorskapsordenen og gjorde det mulig for kvinner å delta, ved å opprette Rebekkainstitusjonen.