Ved valget i 1972 ble Vogel første gang innvalgt i det tyske parlamentet fra Bayern. Han gikk ut av parlamentet i 1981 da han ble regjerende borgermester i Berlin.