Field ble født i Stockbridge, Massachusetts til Rev. David Dudley Field, Menighetsprest, og Submit Dickinson Field, datter av kaptein Noah Dickinson fra Somers, Connecticut. Han var det åttende av ti barn, hans brødre var blant andre av David Dudley Field, Jr, Henry Martyn Field og Stephen Johnson-Field, den 38.,USAs Høyesterettsdommer, blant andre søsken. Da han var 15 år gammel reiste Field til New York, hvor han ble ansatt som visergutt hos A. T. Stewart & Co., et tørrvarefirma. Han begyte i en bedrift som lærling, og tjente femti dollar i sitt første år som volontør, hans lønn ble doblet året etter Etter tre år, reiste han tilbake til Stockbridge, men dro tilbake til New York senere i sin karriere. Foeld giftet seg med Mary Bryan Stein 2.,desember 1840, to dager etter at han fylte tjue-en, og de fikk sju barn.