Langbein war 1954 Mitbegründer des Internationalen Auschwitzkomitees (IAK) und wurde dessen erster Generalsekretär. Von 1955 bis Anfang der 1960er Jahre war er Sekretär der österreichischen Lagergemeinschaft Auschwitz. In diesen Funktionen trug er die KZ-Verbrechen an die Öffentlichkeit und stritt für Entschädigungszahlungen für ehemalige KZ-Häftlinge. Aus der KPÖ wurde er 1958 ausgeschlossen, als er im Zuge des Aufstandes in Ungarn 1956 begann, den Stalinismus zu hinterfragen und zu kritisieren. Infolgedessen wurde Langbein 1960 von seinem Posten als Generalsekretär des IAK entbunden und im darauffolgenden Jahr auch aus dessen Leitung ausgeschlossen. Ab 1963 war er Sekretär des „Comité International des Camps“.