Brylle begann seine Karriere 1977 bei Hvidovre IF. Nach einem Jahr wechselte er weiter zu Vejle BK, 1979 in die 1. Division zum RSC Anderlecht. Dort gewann er einmal die belgische Meisterschaft (1981) und den UEFA-Pokal 1983. Brylle spielte im ersten Finale gegen Benfica Lissabon durch und erzielte in der 30. Minute den Siegtreffer zum 1:0. Im zweiten Finale in Lissabon wurde er in der 78. Minute für Erwin Vandenbergh eingewechselt. In seiner Zeit in Belgien fiel auch die Berufung in die dänische Auswahl für die Europameisterschaft 1984 in Frankreich. Brylle wurde zweimal eingesetzt und erzielte ein Tor. Dänemark schied im Halbfinale aus. Insgesamt spielte er 16-mal für die dänische Nationalmannschaft und erzielte dabei zwei Tore.