James Buchanan Duke

Duke menikah dua kali, pertama pada tahun 1904 dengan Lilian Fletcher McCredy. Mereka bercerai pada tahun 1906 dan tidak memiliki anak. Pada tahun 1907 Duke menikahi janda Nanaline Holt Inman, yang melahirkan anak tunggalnya, seorang anak perempuan bernama Doris pada tanggal 22 November 1912. Doris dibesarkan di Duke Farms yang terletak di Hillsborough, New Jersey, dimana ayahnya bekerja dengan para penata taman seperti James Leal Greenleaf (anggota perusahaan Frederick Law Olmsted), dan Horatio Buckenham untuk mengubah lebih dari 2,000 acre (8 km2) lahan pertanian dan kayu menjadi lanskap luar biasa yang memiliki 2 rumah kaca, 9 danau, 25 air mancur, 45 bangunan, ukiran patung yang tak terhitung jumlahnya, lebih dari 2 mil (3 km( dinding batu dan lebih dari 18 mil (29 km) jalan besar. Duke meninggal di kota New York pada tanggal 10 Oktober 1925, dan dimakamkan dengan ayah dan saudaranya di Memorial Chapel di sekitar universitas Duke. Ia bertempat tinggal di James Buchanan Duke House di Charlotte, Carolina Utara selama lima tahun terakhir kehidupannya. Ini tercatat di Daftar Tempat Bersejarah Nasional pada tahun 1978.