Vogel var sønn av en biologiprofessor fra München. Hans yngre bror, CDU-politikeren Bernhard Vogel, var lenge ministerpresident i Rheinland-Pfalz og senere Thüringen.