Bei der Bundestagswahl 1976, wie auch 1980, gewann Vogel das Direktmandat im Wahlkreis München Nord. Eine Herausforderung gerade für den Bundesjustizminister stellte der gegen die staatliche Ordnung und ihre Repräsentanten gerichtete Terror der Rote Armee Fraktion (RAF) dar, der 1976 dazu führte, dass ein neuer Tatbestand der Bildung terroristischer Vereinigungen per Gesetz eingeführt und dafür eine primäre Verfolgungszuständigkeit durch den Generalbundesanwalt geschaffen wurde. Eine besondere Belastungsprobe stellte für Vogel die nach der Ermordung von drei begleitenden Polizeibeamten und des Chauffeurs über sechs Wochen sich hinziehende Entführung von Hanns Martin Schleyer dar, des Arbeitgeberpräsidenten, mit der RAF-Gefangene freigepresst werden sollten. Vogel vertrat in dem unter Vorsitz von Bundeskanzler Helmut Schmidt öfters tagenden Krisengremium hochrangiger Politiker den schon länger eingenommenen Standpunkt, dass der Staat den RAF-Forderungen nicht nachgeben könne, auch um den Terroristen nicht Anreize zu immer neuen derartigen Aktionen zu geben und damit weitere Opfer in der Zukunft zu provozieren. Für den dann durch die Terroristen herbeigeführten Tod Schleyers sieht sich Vogel als Mitverursacher, „auch wenn ich glaubte und heute noch glaube, mir keinen Schuldvorwurf machen zu müssen“. Auch Vogel selbst gehörte zu dieser Zeit zu den vorrangig vom RAF-Terror Bedrohten und stand 17 Jahre rund um die Uhr unter Bewachung von Sicherheitskräften.