Knudsen var også finansminister i Michelsenregjeringen, men gikk ut av denne i oktober 1905 på grunn av uenigheter rundt kongevalget. Deretter var han formann i Norsk Landmandsforbund, (det senere Bondelaget 1905—1906). Han var statsminister i Gunnar Knudsens første regjering (1908–1910) og Gunnar Knudsens andre regjering (1913–1920). Som statsminister foreslo han blant annet at staten skulle kjøpe inn fosser. Han var sentral i debatten om Konsesjonslovene, og ved opprettelsen av Norges vassdrags- og elektrisitetsvesen.