B憲兵隊
最初に組織されたのは警戒隊(Alarmformationen)として知られる部隊である。英米仏の占領地域にそれぞれ500人から成る部隊を設置するという構想で、隊員は可能な限り現職の憲兵から募集することとされた。1949年3月9日、ヘルマルは不足を補うために制服職員として1,100人を雇用する旨の提案を行った。これが承認された後、警戒隊の組織が始まった。この時期には第2補助隊(Hilfskörper II)や機動隊(MU, Mobil Unit)という通称も使われていた。警戒隊は憲兵隊における特別部隊と位置づけられ、違法越境、国内騒乱、破壊勢力の行動などの非常事態に対応することをその使命とした。3つの警戒隊に対する装備の供給は主にアメリカ軍が担当した。この時点で、内務省ではあくまでも憲兵としての訓練が主であり、軍事訓練は週に1日ないし2日程度にするよう求めている。西側連合国からは憲兵としての訓練の中止や部隊の常設化が求められたが、連邦憲兵隊の反対によって実現しなかった。
1950年、最初の常設部隊が設置された。オーバーエスターライヒ州に2個大隊、シュタイアーマルク州、ケルンテン州、チロル州にそれぞれ1個大隊、合計5個大隊が設置され、いずれも憲兵学校(Gendarmerieschulen)という秘匿名称で呼ばれた。
ナチス・ドイツが降伏した後、オーストリア連邦政府内では解放後のオーストリアが対外的な防衛および国内の安全確保を行う能力を保有すること、すなわち再軍備を求める声が上がった。しかし、4つの占領国(米英仏ソ)はいずれも再軍備を認めることに消極的で、中でもアメリカ合衆国はいかなる形の「オーストリア軍」も組織するべきではないという強硬な姿勢をとっていた。それにも関わらず、東西の緊張の高まり、とりわけ1947年のハンガリーにおける共産主義者による権力掌握と1948年2月のプラハでのクーデター(1948年のチェコスロバキア政変)という2つの出来事を経て、ソビエト連邦の脅威に対抗するべく西側連合国はオーストリアの再軍備を認めざるを得なくなった。しかし1945年にはオーストリアにおけるいかなる軍事活動も禁止する旨に4つの占領国で合意しており、これを反故にして新たな「オーストリア軍」を設置した場合のソ連の反応を事前に予想することは困難だった。そのため、新たな軍事組織の設置にあたっては既存の連邦憲兵隊がカモフラージュとして利用されることになった。B憲兵隊の創設は、主に内務相オスカル・ヘルマル(ドイツ語版)と内務次官フェルディナント・グラーフ(ドイツ語版)によって進められた。グラーフは後に国防相を務めた。