I 1891 ble Knudsen valgt inn på Stortinget for partiet Venstre, som han senere ble parlamentarisk leder for i 1908 og partileder for (1909–1927). Han ble utnevnt til statsråd i Johannes Steens andre regjering fra 24. desember 1901 med virke ved statsrådsavdelingen i Stockholm. Han fortsatte på denne posten da Otto Blehr året etter overtok som statsminister. I 1903 vendte han hjem og overtok ledelsen av Landbruksdepartementet og Finansdepartementet fram til regjeringen gikk av i oktober.