Whitmore var gift to ganger med Nancy Mygatt. De giftet seg for første gang i 1947, og paret fikk tre sønner sammen før de tok ut skilsmisse i 1971. En av de tre sønnene, James Whitmore III, gikk i farens fotspor og fikk suksess som skuespiller og regissør, under navnet James Whitmore junior. En annen av sønnene, Steve Whitmore, var en offentlig talsmann for Los Angeles County Sheriff's Department. Deres yngste sønn, Daniel, arbeidet i United States Forest Service og som brannmann før han etablerte sitt eget byggefirma.