Vintrene 1872–1874 gikk han på folkehøyskole i Sogndal, og i 1876 dro han til hovedstaden for å ta studentereksamen, men ble etter en tid så syk at han måtte gi opp sine studieplaner. I stedet ble Sivle selvlært dikter og avismann. Sivle var i 1884 medstifter av Norsk Kvinnesaksforening, der ektefellen Wenche var svært aktiv.