Selv kom Olesen inn i Folketinget i 1966, og satt der til 1987. Fra 1973 til 1981 var han også viseformann i det sosialdemokratiske partiet.