רוהר שיחק כנער במועדון VFL נקראו, ונחשב לכדורגלן מוכשר מאוד לגילו ואף שיחק בנבחרות הנוער של גרמניה ביחד עם שחקנים כמו רודולף קארגוס, מנפרד קאלץ ורונאלד וורם. כישרונו גרר התעניינות ממועדונים גדולים, ובשנת 1972 חתם בבאיירן מינכן מהבונדסליגה. רוהר לא הפך לשחקן משמעותי בבאיירן מינכן, סבל מפציעות רבות, וערך בסך הכל שש הופעות ליגה במשך שנתיים בהן שיחק בקבוצה. עם זאת, זכה רוהר עם באיירן מינכן בארבעה תארים: שתי אליפויות בונדסליגה, הגביע הגרמני וגביע אירופה לאלופות בשנת 1974. בדצמבר 1974 חתם רוהר בוולדהוף מנהיים, ששיחקה אז בבונדסליגה השנייה במחוז הדרומי. רוהר הפך בוולדהוף מנהיים לשחקן משמעותי יותר, ובקיץ 1975 חתם בקיקרז אופנבך מהבונדסליגה. בעונתו הראשונה בקבוצה, 1975/76, נשר רוהר עם קיקרז אופנבך לבונדסליגה השנייה. בעונתו השנייה בקבוצה, 1976/77, סיים רוהר עם קיקרז אופנבך במקום השלישי בבונדסליגה השנייה במחוז הדרומי, ולא הצליח להעפיל עם הקבוצה בחזרה לבונדסליגה.