ニューヨーク植民地
1762年11月7日、レムゼンはニューヨーク植民地のニューヨークにおいて、ヘンドリック・レムゼン (Hendrick Remsen, 1736-1792) の息子として誕生した。レムゼンは1775年から1783年まで大陸軍に所属し、独立戦争を戦った。