Olsen ble bachelor i litteratur i 1974 ved University of Oxford. Han tok doktorgraden i 1978 ved Universitetet i Bergen med avhandlingen . Han var ansatt ved Universitetet i Oslo 1985—1997 som leder av Institutt for britiske og amerikanske studier. Olsen ble i 1997 tilsatt som professor ved Institutt for filosofi ved Lingnan University i Hongkong. 1. august 2007 ble han tilsatt som leder ved Institutt for lingvistiske, litterære og estetiske studier ved UiB.