Charles Wilson
ラムゼイの兄は大陸会議代表のナサニエル・ラムゼイであり、画家のチャールズ・ウィルソン・ピールの義兄弟だった。ラムゼイは3度結婚した。ジョン・ウィザースプーンおよびヘンリー・ローレンスの義理の息子であり、そのこと（縁戚）で、サウスカロライナ州知事チャールズ・ピンクニー、ラルフ・アイザード、ジョン・ラトリッジ、アーサー・ミドルトン、ダニエル・フーガーおよびルイス・モリスとも親戚になった。