Ende 1950 begannen Diskussionen über das im September von den Westmächten genehmigte Bundesaußenministerium. In dieser Zeit versuchte die FDP Hallstein zum Parteibeitritt zu bewegen, vermutlich mit dem Ziel, ihn dann zum Bundesaußenminister zu machen. Der Staatssekretär lehnte eine politische Bindung zunächst aber ab und trat erst 1953 in die CDU ein. Bereits 1951 wurde er unter Adenauer, der selbst das Amt des Bundesministers des Auswärtigen übernommen hatte, Staatssekretär des Auswärtigen Amts. Diese Funktion hatte er bis 1958 inne. Wegen seiner zahlreichen Aufgaben als Staatssekretär und Leiter von verschiedenen Verhandlungsdelegationen (neben der Vorbereitung der EGKS auch die der Europäischen Verteidigungsgemeinschaft [EVG] und der Wiedergutmachung mit Israel) wurde Hallstein in dieser Zeit mehrfach kritisiert, weil er diese vielfältigen Aufgaben alleine nicht zufriedenstellend bewältigen könne.