Olsen ble allerede som student engasjert som assistent ved Nationalmuseet i København. Han tok graden som cand. mag. i historie og geografi i 1953, og ble museumsinspektør ved Nationalmuseet i 1958. I 1966 tok han graden som dr. phil. ved Universitetet i København med avhandlingen . Han ble ansatt som professor i middelalderarkeologi ved Universitetet i Århus i 1971. I 1981 ble han direktør ved Nationalmuseet og riksantikvar.