John W. Davis giftet seg med Julia T. McDonald den 20. juni 1899, men hun døde den 17. august 1900. De rakk å få datteren Julia McDonald Davis sammen, og hun giftet seg etter hvert med Charles P. Healy, senere med William McMillan Adams. Hun døde i 1993. Den 2. januar 1912 giftet Davis seg med Ellen G. Bassel, som døde i 1943. Davis var onkel og adoptivfar til Cyrus Vance, som senere ble USAs utenriksminister under president Jimmy Carter.