Under Weimarrepublikken var tollgrensevesenet underlagt riksfinansadministrationen. Bayern og Preussen hadde imidlertid også sitt eget grensepoliti. I 1936 forsøkte Heinrich Himmler å overta kontrollen over tollgrensevesenet, men Riksfinansministeriet svarte med å organisere ZGS og Himmler måtte nøye seg med et grensepoliti underlagt Gestapo. Etter Anschluss ble den østerrikske innlemmet i ZGD. Under krigen, fra 1939 og utover, ble ZGS brukt i de fleste okkuperte land for å vokte grensene og bekjempe smugling, også i Norge og Danmark. ZGS ble også brukt til å vokte militære og økonomisk viktige installasjoner, som lyttepost og noen ganger også ved fronten. ZGS måtte overlate mer og mer personell til Wehrmacht. De resulterende personelle hullene ble fylt med etniske tyske befolkningsgrupper i de okkuperte land og med menn født før 1900. Disse mennene ble organisatorisk plassert i en reservekorps, Etter 20. juli-attentatet 1944 plasserte Hitler ZGS under kontroll av Reichssicherheitshauptamt. I løpet av få måneder ble ZGS-ledelsen erstattet av politiembetsmenn og SS-førere. Fra november 1944 ble ZGS gruppert i bataljoner og utplassert i kamp i Böhmen og Schlesien og på vestfronten, hvorved de led store tap.