Han stilte til stortingsvalg flere ganger, først i enkeltmannskretsen Kongsberg og Hønefoss. Ved valget i 1912 var Bentzen varamann for J. O. Jarnæs, men valgkretsen ble vunnet av Nils Gulliksen Berg. Ved valget i 1915 vant Bentzen (med Jarnæs som medkandidat) første runde mot Berg med 2 394 mot 1 684 stemmer, men tapte andre runde med 2 753 mot 3 038 stemmer. I 1918 ble han imidlertid valgt, og fra 1919 til 1921 satt han én periode på Stortinget, hvor han representerte bykretsen Kongsberg, Hønefoss og Notodden. Han ledet sin valgliste i kjøpstedene i Buskerud ved stortingsvalget i 1921, men ble ikke gjenvalgt.