У 1980 році Ольсен перейшов в «Андерлехт» і в перший же рік виграв з клубом чемпіонат Бельгії, а лінія оборони, де одну з головних ролей грав Ольсен, стала найкращою в лізі, пропустивши лише 25 голів в 34 матчах. За «Андерлехт» Ольсен грав 6 років і виграв з клубом 3 чемпіонати Бельгії. У 1983 році Ольсен, разом з клубом, виграв Кубок УЄФА; вдома здобули мінімальну перемогу над «Бенфікою», а в Португалії зіграли внічию. Після чого його на батьківщині назвали найкращим футболістом року. Через рік «Андерлехт» знову дійшов до фіналу Кубка УЄФА, але цього разу сильнішим був суперник, лондонський «Тоттенгем».