新建的军队命名为「联邦国防军」（），获得西德联邦议会的认可。1955年11月12日，联邦国防军正式建立，该天是普鲁士王国将领格哈德·冯·沙恩霍斯特诞辰两百周年。并在《德意志联邦共和国基本法》的修正案后，1955年西德正式加入北约，1956年开始推行征兵制，年届18至45岁的全国男性必须义务服兵役。同时为顾及不愿从事武装勤务者的基本人权，德国基本法并赋予人民拒服兵役的权利，仅需要向役政机关登记即可改服替代的社会役。 自2011年7月开始，德国已全面废止征兵及各种替代役。冷战期间，西德联邦国防军成为北约