Knudsen ble i 1876 valgt til formann i Den typografiske forening i Kristiania, som var Norges første levedyktige fagforening. Dette året startet en verdenskrise som brakte nødsår og arbeidsløshet i Norge – og økte motsetninger mellom håndverkerne og de ufaglærte arbeiderne som i nødsårene strømmet inn fra bygdene. Under trykket av lønnskamp og arbeidsløshet organiserte trykkeriarbeiderne seg, som den første håndverkergruppen i landet. Knudsen ble med i styret fra 1874 og gikk i møter med svenske og norske tidlige sosialister, og leste tyske småskrifter om sosialismen. Foreløpig fantes det ingen sosialistisk forening i Norge – bare rene fagforeninger uten en nasjonal overbygning. Hans initiativ allerede i 1877 om å danne et nasjonalt forbund for typografforeningene møtte motstand i Oslo, men han fikk Bergens typografforening til å medvirke til opprettelsen av Norsk Centralreisekasse for Bogtrykkere i 1882 – dagens Norsk Grafisk Forbund. Dermed stod Knudsen fadder for Norges første nasjonale fagforbund, som la grunnstenen for LO. Samme år stiftet arbeidersamfundene og arbeiderforeningene en nasjonal fellesorganisasjon – De forenede norske Arbeidersamfund – under det andre arbeidermøte i Trondheim, politisk helt dominert av Venstre.