Rudolf Völler fæddist í þýsku borginni Hanau og hóf knattspyrnuiðkun sem ungur drengur, enda var faðir hans drengjaþjálfari í Hanau. Hann hóf feril sinn með Kickers Offenbach 16 ára gamall og fékk að leika með aðalliðinu 17 ára (1977). 1980 skrifaði hann undir fyrsta samning sinn við 1860 München og féll með liðinu í 2. deild strax á fyrstu leiktíð. Vegna fjárhagsvandræða 1860 München var félaginu refsað af þýska knattspyrnusambandinu 1982 og látið spila í 3. deild. Þá fór Völler til Werder Bremen og þar sló hann rækilega í gegn sem markaskorari. Á 5 árum spilaði hann 137 leiki og skoraði í þeim 97 mörk. Strax á fyrstu leiktíð náði Bremen 2. sæti í 1. deildinni með sama stigafjölda og meistarar HSV, en með lélegra markahlutfall. Á sama ári var í fyrsta sinn kallaður í þýska landsliðið og kom inná sem varamaður fyrir Lothar Matthäus í 0-1 ósigri gegn Norður-Írlandi. 1987 fór Völler til Ítalíu og spilaði í 5 ár með AS Roma. Þar upplifði hann sín bestu ár sem knattspyrnumaður. Fyrsta árið lenti liðið í 3. sæti í deildinni, 1991 varð hann bikarmeistari og 1990 varð hann heimsmeistari með þýska landsliðinu. Í úrsitaleiknum gegn Argentínu sigruðu Þjóðverjar 1-0 með vítaspyrnu, en það var einmitt Rudi Völler sem var felldur í vítateig andstæðinganna. Úr vítinu skoraði Andreas Brehme. 1992 tók Völler við fyrirliðastöðunni í þýska landsliðinu þegar Lothar Matthäus meiddist á hné. 1992 spilaði Völler með Olympique Marseille og vann Meistaradeild Evrópu með því liði. 1994 lék Völler sinn síðasta landsleik er Búlgarar slógu Þjóðverja út í 8 liða úrslitum á HM. Hann hafði þá leikið 90 landsleiki og skoraði í þeim 47 mörk. Þar með er Völler þriðji markahæsti leikmaður þýska landsliðsins, ásamt Jürgen Klinsmann (á eftir Gerd Müller og Miroslav Klose). 1994 sneri Völler aftur til Þýskalands og lék með Bayer Leverkusen í tvö ár, en að þeim loknum lagði hann skóna á hilluna. Reyndar starfaði hann áfram hjá félaginu sem yfirmaður knattspyrnumála.