Natomiast w reprezentacji Niemiec Olaf swój pierwszy mecz rozegrał 12 października 1994 roku, a Niemcy zremisowali w nim bezbramkowo z Węgrami. W 1998 roku został powołany przez Bertiego Vogtsa do kadry na Mistrzostwa Świata we Francji. Tam wystąpił jedynie w przegranym 0:3 ćwierćfinałowym meczu z Chorwacją. Swój ostatni mecz w kadrze narodowej rozegrał w lipcu 1999 roku podczas Pucharu Konfederacji – Niemcy wygrali 2:0 z Nową Zelandią. Ogółem w kadrze zjednoczonych Niemiec rozegrał 13 meczów i zdobył 3 gole.