Dole giftet seg med Belle Dickey (1880–1972) i Jamaica Plain på November 23, 1906. Hans kone var søster av arkitekten Charles William Dickey, et medlem av en annen misjonær familie. De hadde fem barn: Richard Alexander Dole ble født den 28. oktober 1907, James Drummond Dole jr. ble født den 6. februar 1910, Elisabeth Dole ble født 25. april 1911, Charles Herbert Dole ble født den 30. oktober 1914 og Barbara Dole ble født 10. oktober 1916.