לרולף 37 הופעות במדי נבחרת גרמניה המערבית. רולף ייצג את גרמניה המערבית ביורו 1984 בו הודחה הנבחרת בשלב הבתים, במונדיאל 1986 בו הפסידה הנבחרת המערב גרמנית 3-2 במשחק הגמר לנבחרת ארגנטינה, וביורו 1988 בו הגיעה נבחרת גרמניה המערבית לחצי הגמר. הופעתו האחרונה של רולף במדים הלאומיים הייתה בשנת 1989.