Ellingsgard vokste opp i bondemiljø i fjellbygda Vats i Ål i Hallingdal og hadde liten formell skolegang, bortsett fra jordbruksskole. Han arbeidet som gjeter og anleggsarbeider før han i 1953 flyttet til Oslo. Der gikk han blant annet på Bjarne Engebrets tegne- og maleskole. I "første fase" av sitt liv med rosemalingen hadde han atelier i Oslo, hvor han arbeidet både med egen dekormaling, og med restaurering av eldre rosemaling, blant annet med å avdekke eldre, overmalte rosemalingsarbeider.