Han ble valgt Soldiers Groves landsbyrepresentant to ganger, og ble senere valgt inn i Wisconsins delstatsforsamling. Han satt der som republikaner i tre perioder, fra 1893 til 1899. Davidson var en progressiv republikaner, som støttet Robert M. La Follette sr. sine idéer. Davidson ble valgt til delstatens finansminister i 1898 og 1900. I 1902 og 1904 ble han valgt viseguvernør for La Follette. Den 1. januar 1906 trakk La Follette seg som guvernør for å være senator, og Davidson ble dermed fungerende guvernør. Davidson ble gjenvalgt uten motstand i 1908, men valgte å ikke stille som kandidat i 1910. Han ble sittende i flere delstatskomitéer etter sin tid som guvernør, og var aktiv i politikken helt til sin død.