Karlsen har som styreleder hatt en aktiv rolle i Oslo Havns avhendig av havneeiendommer i indre havn, Tjuvholmen og Bjørvika. Han var en sentral aktør bak det såkalte Fjordbyvedtaket 19. januar 2000, hvor Oslo kommune og havnestyret slutter seg til utflytting av Oslo havn til ytre terminalområder i «Sydhavna» ved Sjursøya gjennom Fjordbyplanen av 27. februar 2008. Han har også som styreleder forsvart Oslo havns tilrådning om lagring av miljøgifter fra havnebunnen i det såkalte Dypvannsdeponiet i Oslo. Han har også som styreleder opplevd at det i 2007 ble tatt ut tiltale mot Oslo havn for ulovlig giftdumping. Oslo Havn KF er frikjent i tre rettsinstanser for tiltalen som relaterer seg til de tilfellene av ureglementert dumping av masser i fjorden som Oslo Havn redegjorde for 19. desember 2007.