Etter skilsmissen fra Mygatt giftet James Whitmore seg med skuespilleren Audra Lindley (død i 1997). Ekteskapet varte fra 1972 til 1979. Senere ble han gjenforent med Nancy Mygatt, og de var gift i to nye år før de på nytt skilte seg. I 2001 giftet han seg med skuespiller og forfatter Noreen Nash, som var bestemor til den kjente skuespilleren Sebastian Siegel. Whitmore er bestefar til Matty Whitmore. Mot slutten av livet tilbrakte Whitmore store deler av sommerhalvåret i Peterborough i New Hampshire.