Clark è nato e cresciuto a Mount Vernon, nello stato di New York, il 30 novembre 1929 da Richard Augustus Clark e Julia Fuller (nata Barnard) Clark. Suo fratello maggiore, Bradley, fu ucciso nella Battaglia del Bulge durante la seconda guerra mondiale.