Nach Abschluss des Staatsvertrages am 15. Mai 1955 war es durch die Existenz dieser Organisation relativ schnell möglich, aus ihr ein neues Heer aufzubauen. Der letzte Aufmarsch der B-Gendarmerie als solche fand am Tag nach Vertragsunterzeichnung in Form einer „Befreiungsparade“ im Linzer Stadtteil Ebelsberg statt. Am 8. Juli 1955 fiel das alliierte Verbot der militärischen Betätigung und das Ende der B-Gendarmerie kann mit dem 27. Juli 1955 angesetzt werden, als sie in "Provisorische Grenzschutzabteilung" umbenannt wurde. 6.000 ehemalige B-Gendarmen bildeten 1956 den Kader für das neu gebildete Bundesheer, welches noch im selben Jahr im Zuge des Ungarn-Aufstandes seine erste Bewährungsprobe zu bestehen haben sollte, indem es die österreichische Staatsgrenze sicherte. Die Heeressoldaten, die schon Mitglied bei der B-Gendarmerie gewesen waren, trugen auch im Bundesheer auf ihren Uniformen das Emblem ihrer früheren Organisation – einen roten Winkel mit einer brennenden Granate – am rechten Ärmel.