Die Generaldirektion für die öffentliche Sicherheit wurde mit Erlass des Bundeskanzleramts (AdR, BKA/Präs, SR, Zl. 9.415/1930) vom 23. September 1930 als oberste Sicherheitsbehörde, vorerst im Bundeskanzleramt, eingerichtet. Anfang April 1938, nach der NS-Machtübernahme, wurde sie aufgrund des Erlasses vom 14. März 1938 des Reichsführers SS und Chef der Deutschen Polizei im Reichsministerium des Inneren, Heinrich Himmler, aufgelöst. Nach dem Zweiten Weltkrieg ausschließlich im Innenministerium angesiedelt war bis 1965 die Sektion I die Generaldirektion, danach die Sektion II. 1968 wurden die polizeilichen Angelegenheiten – Bundespolizei, Bundesgendarmerie, Österreichischer Staatspolizeilicher Dienst (Staatspolizei) aus der Generaldirektion für die öffentliche Sicherheit herausgelöst und in eine neue Sektion II eingegliedert. Leiter dieser Sektion war der Wiener Polizeipräsident Josef Holaubek. Nachdem dieser 1969 Generalinspizierender der Sicherheitsbehörden und Landesgendarmeriekommanden geworden war, wurde die Sektion II wieder mit der Generaldirektion zusammengeführt.