Sedan 1907 medverkade Byberg som illustratör i tidningar för barn, sagoböcker och läroböcker och skrev även ett antal barnböcker om huvudpersonen Lilleman. För jubileumsutställningen i Göteborg 1923 och Nordiska museet utförde han modeller som användes vid utställningarna och han formgav även glasmålningarna till korfönstren i Köla kyrka.