Vinje Gunnerud ble født i Vika, men vokste opp i Drøbak i Akershus, blant annet ved Oscarsborg festning. Hans far Andreas Gunnerud var møbelsnekker og løytnant på Oscarsborg festning, og moren Marie Conratte Victoria Vinje var jordmor. Vinje Gunnerud hadde seks søsken. Han ble oppdaget av billedhuggeren Sigri Welhaven da han arbeidet ved et keramikkverksted i Drøbak, der hun fikk brent sine arbeider, og han begynte på Kunst- og Håndverkskolen i Oslo som 17-åring.