欧米系島民
しかしマザロには人望がなく、1842年にハワイへ去り、もう1人のイギリス人リチャード・ミリチャンプもグアムへ去ると、セボリーが事実上の首長的地位についた。
1849年8月、父島は海賊の襲撃を受けた。女性数人が拉致された上、家畜や食糧、医薬品など2000ドル相当の物品が掠奪された。
1851年4月イギリス軍艦エンタープライズ号が父島寄港した。艦長の航海記によると、セボリーらの生存を確認し、入植後20数名の子どもが生まれ半数は死に、また成長後島を出て行った者もいると記されている。また島内の(現ハワイの)オアフ島出身者の土地に捕鯨船から脱出した船員たちが身を隠していた様子や、船が寄港した際病気のため下船しそのまま島に住み着いたものの存在も明らかにしている。
1853年6月、マシュー・ペリーが父島に寄港した際、調査隊が同行していた。2班の調査隊のうち最初のグループがロイド港(二見港)から上陸すると、カナカ人が島の数カ所に点住していた。山稜を越えて島の南に降りていくと、マルケサス諸島のヌクヒバ島出身者の居住者と遭遇し、さらに進むとオタハイト島出身の黄褐色肌の住人がおり、彼は英語を少し話した。別の調査班は航海日誌で、島で最年長のセボリーやカナカ人らがおり、39人の島民が住んでいると記している。
これらから小笠原諸島には欧米系白人のみが住み着いていたわけではなく、当時カナカ人と呼ばれたハワイ出身者や南太平洋ポリネシアからの住人も多く住んでいたことが窺える。
「欧米系島民」という語彙は、戦後に小笠原諸島を統治したアメリカの公文書に記されている「Caucasian Descendants of Original American and European Settlers」「Families of American-European Origin」を日本語に翻訳したものが起源とされている。ただし小笠原への入植者や移住者はハワイ人やポリネシア人が含まれており、欧米系白人のみを意味しない。
戦前は「帰化人」や「在来島民」という表現が使われていた。なお、明治以降に移住した日本の内地人は現地では「移住民」と呼ばれていた。