Han var gift med døtre til to fremtredende republikanske politikere. Hans første hustru Joy, som døde av kreft, var datter av Everett Dirksen, mangeårig minoritetsleder i Senatet. Baker giftet seg på nytt i 1996 med Nancy Landon Kassebaum, datter av republikanernes presidentkandidat ved valget i 1936, Alf Landon. Nancy Landon Kassebaum Baker er også selv en fremtredende republikansk politiker; hun var representant til USAs senat fra Kansas 1978–1997.