Scofield ble gift med skuespiller Joy Parker i 1943. Paret fikk to barn; Martin (født 1944), foreleser i engelsk litteratur fra 1800-tallet ved Universitetet i Kent, og Sarah (født 1951).