ב-1859 נשא צ'אנדלר לאישה את אן גילמור, בתו של מושל ניו המפשייר, ג'וזף גילמור. ב-1874, לאחר מותה של אן, חידש צ'אנדלר את מערכת היחסים שלו עם לוסי הייל, שב-1865 התארסה בחשאי עם ג'ון וילקס בות', רוצחו של הנשיא אברהם לינקולן, מבלי שידעה על מזימת הרצח. באותה שנה נישאו צ'אנדלר והייל ובמרץ 1875 נולד בנם היחיד, ג'ון פארקר הייל צ'אנדלר.