Asbjørn Øye vokste opp på gården Øye i Follestaddalen i Ørsta. Foreldrene var Nils Larsson Øy, født Fyldal og Berte Ottosdotter Øy, født Mo. Han ble født som nummer ti av en søskenflokk på elleve, hvorav ni vokste opp.