Grepp var sønn av telegrafist Andreas O. Olsen og hustru Anna Kathrine Olsen. Han var gift med journalisten Rachel Grepp (1879–1961) fra Bergen, og skiftet etternavn fra Olsen til Grepp da de giftet seg i 1904. «Grepp» er oldnorsk for en som liker å sysle med bøker. De fikk fem barn, deriblant skuespiller Ole Grepp (1914–1976), journalisten Gerda Grepp (1907–1940) og politikeren Asle Grepp (1919–1945).