Grænsegendarmeriet oprettedes ved kongelig resolution af 4. december 1838 af tre rytterregimenter i Holsten og var underlagt hæren indtil 1864. Gendarmeriet kæmpede i 1864-krigen sammen med det slesvigske gendarmeri som en militær enhed og blev herefter nedlagt. Korpset blev genoprettet i 1866 og virkede herefter som et militært organiseret grænsetoldpoliti-korps ved Kongeågrænsen. Fra d. 5. maj 1920 fungerede korpset langs den nuværende grænse. Under 2. verdenskrig faldt korpsets chef oberst Svend Paludan-Müller i ildkamp mod Gestapo og tyske militære enheder, d. 26. august 1944. Blev i 1952 omdannet til et civilt korps (Toldgrænsekorpset). Korpset bevogtede den danske grænse mod Tyskland indtil 1958, (patruljeringen foregik til fods ad gendarmstien, og hver enkelt gendarm havde et bestemt stykke af grænsen at passe) I 1958 blev der indført mobilpatruljer i korpset, som blev dirigeret fra radiostationen i Gråsten. Enkelte steder, blandt andet i skovene i Kruså, fortsatte gendarmerne som fodpatrulje, som først ophørte den 1, april 1969. Korpset blev nedlagt 1. april 1969 og politiet påbegyndte at køre patruljer langs med grænsen i 1970. I en længere periode var korpsets uniformer lyseblå og blev af samme grund kaldt "de blå gendarmer" (i lighed med Estrups gendarmerikorps, se nedenfor).