His grandfather, William Colfax, served in George Washington's Life Guard during the American Revolution, became a general in the New Jersey militia and married Hester Schuyler, a cousin of General Philip Schuyler.
Ông nội của ông, William Colfax, là trưởng cận vệ của George Washington trong cuộc cách mạng Mỹ, trở thành một tướng quân trong dân quân New Jersey và kết hôn với Hester Schuyler, một người anh em họ của Tướng Philip Schuyler.