I 2018 valgte han å trekke seg fra flere posisjoner i partiet etter anklager om seksuell trakassering som kom i forbindelse med Me too-debatten. Selv har han benektet å ha gjort seg skyldig i dette, men han har tatt selvkritikk for at han hadde oppført seg upassende overfor enkelte unge kvinner i partiet. Han meldte i 2020 at han trakk seg fra politikken og stilte ikke til gjenvalg til Stortinget i 2021.