Ryberg er opprinnelig fra Kirkenes i Finnmark, men kom til Vatne på Sunnmøre som liten. Han tok artium ved Molde gymnas. Han studerte deretter i Lillehammer, Trondheim og ved Elverum lærerhøgskole hvor han ble utdannet pedagog.