Han var sønn av jekteskipper Ottar Rinnan og hustru Jørgine Birgitte Hundt i Trondhjem, men vokste opp hos onkelen og tanten i Ibestad, lensmann og stortingsmann Ole Peter Schjølberg og hustru Sara Collett Rinnan. Morfaren var slaktermester Hans Samuel Hundt. Dermed var Rinnan også fetter av Regine Wanvig (gift Berg), mor til Andreas Berg, som var ordfører i Trondhjem og stortingsmann samtidig med Rinnan.