Brylle was een opportunistische en sierlijke spits die over een goede techniek beschikte. Hij brak door bij RSC Anderlecht, met wie hij de landstitel en de UEFA Cup won. Nadien speelde hij achtereenvolgens voor PSV en Olympique Marseille alvorens de overstap te maken naar Club Brugge. Met de West-Vlaamse club werd hij in 1988 voor de tweede keer kampioen. Begin jaren negentig bouwde hij zijn carrière af bij respectievelijk Beerschot, Lierse en Knokke. Brylle was ook acht jaar Deens international. In 1984 bereikte hij met zijn land de halve finale van het EK. Na zijn spelerscarrière werd hij trainer van verscheidene West-Vlaamse clubs. Sinds 2011 is Brylle opnieuw werkzaam bij Club Brugge.