Był synem Jerzego (zm. 1874, lekarz) i Józefy (1909-1891, nauczycielka). Jego rodzice pochodzili z okolic Wiednia, w 1832 z polecenia cesarza Franciszka I zostali przesiedleni wspólnie z 10 innymi rodzinami niemieckim do Sanoka w celu germanizacji, która trwała do 1848. Rapfowie otrzymali dom przy sanockim rynku. Jerzy Rapf urodził się w 1846 w Sanoku. Jego rodzeństwem byli: Karol (1840-1866, oficer armii austriackiej, poległ w bitwie pod Sadową), Józefa (żona Kostiantyna Tomaszczuka), Julia Anna Marianna (1845-1919, żona Joachima, działacza polskiej konspiracji niepodległościowej, burmistrza Jarosławia i matka Wołodymyra Starosolskiego, ukraińskiego działacza społecznego i politycznego oraz Jadwigi, która została żoną Witolda Litwiniszyna), Kornel (zm. 14 grudnia 1857 w wieku 6 lat), Leontyna (żona urzędnika skarbowego Konratowicza, matka c. k. nadporucznika Alfreda Konratowicza i Karoliny, żony Włodzimierza Bańkowskiego) i Edmund (mąż sopranistki Wilhelminy Veith, ojciec Wilhelma, Stefana - porucznika inżyniera geodety 1885-1973 i Janiny). Potomstwo Rapfów spędzało czas w majątku Wełdyczów w Bełchówce.