Clay wurde als Sohn des Senators des Bundesstaates Georgia, Alexander Stephens Clay, geboren und trat nach dem Abschluss der Militärakademie in West Point, im Jahr 1918, ins Armee-Ingenieur-Korps ein. Als stellvertretender Chef des Stabes von General Dwight D. Eisenhowers setzte Clay im Zweiten Weltkrieg nach der Invasion 1944 den Hafen von Cherbourg wieder instand und wurde anschließend zum Stellvertretenden Leiter des "Amtes für Kriegsplanung und Mobilisation" ernannt.