FC Nordsjælland
Ольсен — воспитанник клубов «Хиллерёд» и «Норшелланн». 23 июля 2017 года в матче против «Брондбю» он дебютировал в датской Суперлиге в составе последнего. 22 июля 2018 года в поединке против «Орхуса» Андрес забил свой первый гол за «Норшелланн».