W latach 1988–1990 Effenberg rozegrał 5 spotkań i zdobył 1 bramkę w reprezentacji RFN U-21. W seniorskiej kadrze Niemiec zadebiutował 5 czerwca 1991 w przegranym 0:1 meczu eliminacji Mistrzostwa Europy 1992 z Walią. W 1992 znalazł się w kadrze na Mistrzostwa Europy. Zagrał na nich w meczach ze Wspólnotą Niepodległych Państw (1:1), Szkocją (2:0), Holandią (1:3), Szwecją (3:2) oraz z Danią (0:2). W pojedynku ze Szkocją strzelił także gola, który był jego pierwszym w drużynie narodowej. Tamten turniej Niemcy zakończyli na 2. miejscu.