Stamfaren til familien Rhinelander var Philip Jacob Rhinelander, en tyskfødt fransk hugenott, som innvandret til Nord-Amerika i 1686 for å unnslippe religiøs forfølgelse etter tilbakekallelsen av ediktet i Nantes. Han slo seg ned i det nydannete franske hugenottsamfunnet i New Rochelle i 1686, der han etter hvert ble eier av en rekke eiendommer, som kom til å utgjøre grunnlaget for familiens rikdom.