Han var gift med skuespillerinnen Jill Ireland i perioden 1957-1967. De fikk tre sønner og en datter. McCallum skilte seg fra Ireland i 1967. Hun skulle senere gjengiftes med Charles Bronson.