Nel 1991 Olsen decise di lasciare il Brøndby nel 1991 per trasferirsi in Turchia, nel Trabzonspor. Con la squadra turca vinse la Coppa di Turchia nel 1992. Dopo il vittorioso Europeo 1992 firmò per i belgi del Seraing e nel 1994 per gli svizzeri del . Tornò di nuovo al Brøndby nel 1996, dove concluse la sua carriera conquistando il quinto campionato danese.