I mai 1950 – fem år grunnleggelsen av det nye Bundeswehr – ble Graf von Schwerin utpekt til å være av Adenauers regjering. Adenauer ga han i oppgave å etablere et «mobilt forbundsgendarmeri» samt behandle sikkerhetsspørsmål for myndighetene i føderasjonen og de enkelte delstatene. Schwerins kontor bar dekknavnet (ZfH).