I 1947 ble han knyttet til etterretningsorganisasjonen Organisation Gehlen, som ble ledet av Reinhard Gehlen og som hadde nære bånd til CIA. Heusinger var her sjef for analysearbeidet og hadde dekknavnet . Han arbeidet her fram til 1950, da han ble militærrådgiver for den vesttyske forbundskansleren Konrad Adenauer og sentral i den tyske gjenopprustningen. I 1950 deltok han i gruppen av militæreksperter som skrev det såkalte Himmerod-memorandumet som førte til dannelsen av Bundeswehr. Han ble 1952 leder av militæravdelingen i det såkalte «Blank-kontoret», ledet av Theodor Blank, senere Vest-Tysklands første forsvarsminister.