Als speler van RSC Anderlecht maakte hij zijn debuut voor de nationale ploeg van Denemarken op 19 november 1980 in de WK-kwalificatiewedstrijd tegen Luxemburg (4-0), net als verdediger Ivan Nielsen (Feyenoord). De uitstekende prestaties van de spits in de UEFA Cup ontgingen ook de Duitse bondscoach Sepp Piontek niet. Hij nam Brylle mee naar EURO '84.