Knudsen ble selv medlem av Kristiania Arbeidersamfund i 1882, en «borgerlig» arbeiderforening hvor Venstre nettopp hadde overtatt den politiske ledelsen på bekostning av Høyre. Holtermann Knudsen tilhørte arbeiderforeningens og partiet Venstres ytterste venstrefløy, og kjempet der for alminnelig stemmerett og «arbeidersagen». Kristiania Arbeidersamfund var helt preget av Venstre, med agitatorer som Bjørnstjerne Bjørnson, Ernst Sars og Johan Sverdrup blant medlemmene, og tusenvis av tilhørere på møtene. Knudsens opposisjonstilværelse i Venstre bar få frukter, og han konsentrerte etter hvert sin kraft om arbeidet gjennom fagbevegelsen. Da snekkerne i Kristiania tok initiativ til en sammenslutning, inviterte de etter hvert til en sentralkomite for ulike fagforbund, hvor Knudsen fikk styreplass sent i 1883.