Sein erstes Spiel im Trikot des DFB-Teams absolvierte er am 14. Oktober 1992 beim 1:1 gegen Mexiko im Dresdner Rudolf-Harbig-Stadion. Kirsten gehörte 1994 und 1998 zum WM-Aufgebot der Deutschen unter Bundestrainer Berti Vogts, wobei er nur beim Turnier in Frankreich 1998 zu vier Kurzeinsätzen ohne Tor kam. Während Kirsten 1992 und 1996, als die Vogts-Elf den Titel in England gewann, nicht im deutschen EM-Kader war, nominierte ihn Erich Ribbeck für die EM in Belgien und den Niederlanden im Jahr 2000. Im Rahmen dieses Turniers absolvierte Kirsten am 20. Juni 2000 bei der 0:3-Niederlage gegen Portugal in De Kuip von Rotterdam sein 100. und letztes A-Länderspiel.