Etter det nedslående 1903-valget søkte Knudsen revansje mot Venstre-samarbeidet ved landsmøtet i 1904, men ble igjen nedstemt. Arbeiderpartiet støttet kravet om unionsoppløsning for å få det av veien slik at de sosiale spørsmål igjen kunne komme i forgrunnen. Svenskenes arbeiderleder Hjalmar Branting støttet også unionsoppløsningen. Under den interne partistriden om man måtte forberede seg på kamp mot den svenske overmakten eller skulle stole fullt på klassealliansen med den svenske arbeiderbevegelsen, ble Holtermann Knudsens støtte til folkevæpning nedstemt på partilandsmøtet i 1906, hvor flertallet vedtok pasifisme. Likevel ble Knudsen nestformann i partiet samme år, og inntok Stortinget som representant for første gang i 1906, her ble han parlamentarisk leder fra første stund.