Det videre arbeidet ble koordinert av det såkalte , et kontor direkte underlagt Forbundskanslerens kontor som ble ledet av Theodor Blank. I 1955 ble Bundeswehr formelt grunnlagt, Blank-kontoret ble omdannet til det vesttyske Forsvarsdepartementet og Forbundsrepublikken Tyskland ble medlem av NATO. Blank ble da forsvarsminister, men gikk av etter ett år og ble etterfulgt av Franz Josef Strauss. Ved siden av Blank og Strauss som politiske ledere var Bundeswehrs to første generaler Hans Speidel og Adolf Heusinger de mest sentrale i grunnleggelsen av Bundeswehr, og ble henholdsvis øverstkommanderende for NATOs bakkestyrker i Sentral-Europa og den første generalinspektøren for Bundeswehr i 1957.