Han var statsråd i Landbruksdepartementet i Otto B. Halvorsens andre regjering og Abraham Berges regjering fra mars 1923 til juli 1924. Han var også fungerende statsråd i Kirke- og undervisningsdepartementet noen uker i november og desember 1923. I mars 1926 ble Venger statsråd i Arbeidsdepartementet i Ivar Lykkes regjering. Han trakk seg i juli 1926, da Berge-regjeringen ble stilt for riksrett, hvor samtlige tiltalte senere ble frifunnet.