Olsen var i utgangspunktet mot norsk medlemskap i EU. Han fikk tilnavnet «No fish Olsen» da han i fiskeriforhandlingene med EU sa at Norge ikke hadde noen fisk å gi bort i forhandlingene. Med tiden snudde han imidlertid i synet på EU, og gikk inn for at Norge burde bli medlem.