Han var gårdbrukersønn og drev etterhvert selv gården ved siden av maleriet. Han studerte først privat med Ole Juul og Harald Krohg Stabell, senere ved SHKS og Kunstakademiet i 1917, med Pola Gauguin før 1920, i Dresden 1921-22 og i München 1923. Hans Ryggen møtte Hannah Jönsson fra Malmö i Dresden i 1922. I 1924 ble de gift, og flyttet til «stugan» nær Hans' hjemgård Ryggen.