Urodzony w Henrykówce koło Szarogrodu na Podolu w rodzinie o korzeniach francuskich. Dziad, Francuz, został zwerbowany wraz z grupą francuskich oficerów jako instruktor oddziałów wojskowych organizowanych przez konfederatów barskich. Dziad, określany przez wnuka jako "awanturnik, a przynajmniej niespokojny człowiek", po upadku konfederacji barskiej nie powrócił do Francji – osiedlił się w Galicji i ożenił z Polką. Ojciec, Józef Wincenty Rolle (1788-1892), był sekretarzem Michała Radziwiłła, następnie lustratorem dóbr Henryka Lubomirskiego na Podolu. Od Henryka Lubomirskiego otrzymał w posiadanie Henrykówkę, w której urodził się Józef Apolinary. Józef Wincenty Rolle dożył 104 lat.