Stuart var gift med den franskfødte Caroline Boubis (1966–1974). De ble skilt, og fikk en sønn sammen, Justin. Hans første ekteskap, med Patricia Lalonde (1952–1966), endte også i skilsmisse før det. De fikk fire barn sammen: Tony (f. 1953), Michael (f. 1954), Scott (f. 1958) og Linda Whitman (f. 1956).