Som spedbarn fikk han engelsk syke (rakitt) og da han var to år gjorde hans mor klart et liksvøp til ham. Han kom seg likevel, men lærte ikke å gå før han var seks. Han gikk i lærerskole hos sin eldre bror Velle Vellesen, hvor også Arne Garborg og Torkell Mauland gikk. Ble eksaminert ut fra Holt seminar i 1865. Var deretter huslærer og almueskolelærer til han ble ansatt som kirkesanger og lærer i Enebakk i 1866.