W latach 1991–1994 Baffoe rozegrał 13 spotkań i zdobył 1 bramkę w reprezentacji Ghany. W 1992 roku został powołany do kadry na Puchar Narodów Afryki, zakończony przez Ghanę na 2. miejscu. Zagrał na nim w meczach z Zambią (1:0), Egiptem (1:0), Kongiem (2:1), Nigerią (2:1) i Wybrzeżem Kości Słoniowej (0:0, 10:11 w rzutach karnych).