Leonard Rhinelander ble født i 1903 i Pelham i delstaten New York som sønn av Adelaide Brady (født Kip) og Philip Jacob Rhinelander. Leonard fikk klengenavnet «Kip» (etter morens pikenavn) og var den yngste av fem barn: fire sønner og én datter. Parets eldste barn, Isaac Leonard Kip, døde som spedbarn.