I politikken startet Knapp tidlig, først og fremst som tillitsvalgt ved fabrikken. Knapp ble leder av Gjøvik Arbeiderparti i 3 år fra 1964, han var medlem av bystyret og medlem av formannskapet i 8 år. Han ble distriktssekretær for LO i Oppland i 1967, en stilling han hadde frem til 1977, da han ble valgt til LO-sekretær. På LO-kongressen i 1987 ble han valgt til nestleder i LO, et verv han hadde frem til 1990. I 1989 fikk Ole Knapp Fellesforbundets hederspris «Pioneren» for sin innsats.