Baffoe spielte bisher in der schwedischen U17, U19 und der U21. Mit der U21 gewann er im Sommer 2015 die Europameisterschaft. Bei dem Turnier in Tschechien kam er zu vier Einsätzen.