Colfax attended private schools in New York City until he was 10, when family financial difficulties ended his formal education and caused him to take a job as a clerk in the store owned by his stepfather.
Colfax đã theo học các trường tư thục ở thành phố New York cho đến khi anh 10 tuổi, khi những khó khăn về tài chính gia đình kết thúc giáo dục chính thức và khiến anh làm việc như một thư ký trong cửa hàng thuộc sở hữu của cha dượng của ông.