Han var innvalgt på Stortinget fra 1949 frem til sin død i 1967. Fra 1945 til 1949 var han vararepresentant. Han representerte Bergen. Han var også en betrodd medarbeider av Einar Gerhardsen, og fikk plass i Gerhardsens første regjering som arbeidsminister mellom 1945 og 1946. Det året ble han samferdselsminister, en post han hadde frem til 1952, da han ble forsvarsminister. Mellom 1954 og 1955 var han handels- og skipsfartsminister. Han var visepresident i Stortinget mellom 1957 og 1958, et verv han også hadde mellom 1965 og 1967. Da Oscar Torp døde i 1958, ble Langhelle stortingspresident. Det vervet hadde han frem til 1965.