ブライアクリフマナーは、ロックフェラー家、アスター家、メイシー家など、昔から裕福な大土地所有者の家族が住むことで知られている。ロックフェラー家の多くがポカンティコヒルズとその周辺に住んでおり、ウィリアム・ロックフェラー（ジョン・ロックフェラーの弟）がスカボローにあるその家エッジヒルに住むことがあった。アメリカ海軍の代将マシュー・ペリーはスカボローに長年住み、セントメアリーズ聖公会教会設立者の一人となり、1847年にはメキシコのタバスコで手に入れた鐘を教会に寄付した。アレクサンダー・スライデル・マッケンジー艦長もスカボローに住んだ。実業家のウィリアム・ヘンリー・アスピンウォールがスカボローに住み、南北戦争のときには南軍がイングランドで装甲艦を建造するのを妨げるためにイングランドに派遣された。アスピンウォールはパナマ運河にも関わり、パナマ第2の都市（現在のコロン）はアメリカからの移民によってアスピンウォールと名付けられた。スカボローのアスピンウォール道路も彼の名にちなむ命名である。海軍少将ジョン・ロリマー・ウォーデンはスカボローのローズモントで生まれた。ウォーデンは南北戦争のハンプトン・ローズ海戦で、アメリカ連合国海軍の装甲艦CSSバージニアに対抗した北軍の装甲艦USSモニターを指揮したことで知られる。女性参政権運動のパイオニアであるキャリー・チャップマン・キャット（全米女性参政権協会会長、女性有権者同盟と国際女性同盟の設立者）は、1920年代にジュニパー・レッジに住んでいた。