Da Bundeswehr ble opprettet i 1955 vendte Heusinger tilbake til militær tjeneste og ble leder for det militære koordineringsleddet (). I mars 1957 etterfulgte han Hans Speidel som (sjef for avdelingen som koordinerte de ulike våpengrenene) og allerede i juni samme år gikk han inn i den nyopprettede stillingen som generalinspektør for Bundeswehr (dvs. forsvarssjef), med grad som general.