Trong sự nghiệp cầu thủ của mình, Olsen chủ yếu chơi ở vị trí tiền vệ phòng ngự và hậu vệ quét. Ông chơi chuyên nghiệp ở Bỉ và Đức, và giành cúp UEFA 1983 và ba chức vô địch giải hạng nhất của Bỉ với R.S.C. Anderlecht. Olsen đã chơi tổng cộng 102 trận và ghi được bốn bàn thắng cho đội tuyển quốc gia Đan Mạch từ năm 1970 đến năm 1989, và được bầu chọn là Cầu thủ xuất sắc nhất Đan Mạch năm 1983 và 1986. Ông làm đội trưởng đội tuyển quốc gia Đan Mạch trong 50 trận đấu trong thập niên 1980, và tham dự Giải vô địch bóng đá châu Âu 1984, World Cup 1986 và Giải vô địch bóng đá châu Âu 1988. Vào cuối sự nghiệp hoạt động của mình, Olsen được coi là cầu thủ quan trọng nhất trong lịch sử bóng đá Đan Mạch.