旅行家ジョン・ミューアによると、1880年代のダイオミード諸島を訪れた彼らが見つけた先住民は、持ち物すべてを交換することを熱望していた。 村は山の険しい岩の斜面に位置し、すぐに深い水に落ちこんでいた。 小屋は主に皮の屋根と石で建てられていた。 それらは遠く離れた雪の上に黒い点として単なる石の集まりのように見えた。鯨骨の柱は、犬に食べられないように、上にカヌーを乗せるために組立てられていた。20世紀の変わり目になると、ノームのゴールドラッシュの間、ダイオミードの村人たちは、ノームが先住民の村ではなかったにもかかわらず、ゴールドシーカーと共にノームに旅した。 ディオメードからの人々は孤立した村に戻る前に、ウミアック（en:Umiak）に乗ってノームに到着し、取引、および物資を集めるために夏の間滞在した。
先住民以外で、初めてダイオミード諸島に到達したのは、1648年に来たロシアの探検家セミョン・デジニョフだった。 次は1728年8月16日に島を再発見したデンマークの航海者ヴィトゥス・ベーリングであり、その日がロシア正教会の祝日となっている殉教者の聖ディオメデス（en:Saint Diomedes）の名にちなみ、島々は命名された。米国は1867年にロシアからアラスカを購入した。これにはリトルダイオミードが含まれていた。 新しい境界線は、2つのダイオミード諸島の間に引かれ、ビッグダイオミードはロシアに残された。
何人かの考古学者に少なくとも三千年間は同じ位置にあったと信じられている、現在の街の位置は、もともとは春の狩猟用キャンプ場で、西欧からの初期の探検家たちは、ダイオミードのイヌピアト（エスキモー/イヌイット）が、精巧な捕鯨の儀式を含む先進的な文化を持っていることを発見した。両大陸とも交易が行われていた。
リトルダイオミード島は、白亜紀の花崗岩または石英モンゾニ岩（en:Quartz monzonite）で構成されている。 市の位置は、海面にほぼ垂直な崖がない唯一の地域である。 都市の裏側と島全体の岩場の斜面は約40度に傾斜し、比較的平坦な頂上の標高は1,148–1,191フィート (350–363m)になる。 島の植生は非常に少ない。
米国国勢調査局によると、この村の総面積は2.84平方マイル (7.4 km²)で、すべてが陸地である。リトルダイオミード島は本土から西に約25マイル (40 km)のベーリング海峡の中央に位置している。 国際日付変更線からわずか0.6マイル (0.97 km)、ロシアのビッグダイオミード島から約2.4マイル (3.9 km)である。
アメリカ合衆国国勢調査局に拠れば、郡域全面積は587.83平方マイル (1,522.5 km²)であり、このうち陸地582.80平方マイル (1,509.4 km²)、水域は5.02平方マイル (13.0 km²)で水域率は0.85％である。
城郭は、本丸、二の丸、三の丸の三郭から成り、本丸には、諏訪神社が置かれた。築城当初より天守閣は無かったが、代用として本丸に二重櫓があった。居館は三の丸に置かれた。
開湯は平安時代の大同2年（807年）である。豊後国出身の源翁がこの地を訪れた際、老僧(地蔵権現)より肘を折った際に治療した温泉を教えられた、という伝説が残る。温泉名もこれに由来して肘折温泉となったとされるが、折口信夫は銅山川がここで大きく曲折していることによる地形からの命名と推測している。また、明治43年の古書には「聖居(ひじりおり)」という記述もある。江戸時代には、肘折温泉から月山を始めとする出羽三山への参道口として多くの参詣客を集めた。肘折温泉には、天台宗寺院である「阿吽(あうん)院(片見氏)」が建てられた。現在も、月山の登山口として「肘折口」があり、登山道が整備されている。一方、葉山修験の拠点としても、真言宗寺院である「密蔵院(神野氏→横山氏)」があった。肘折温泉は出羽三山、葉山両山への参道口として多くの宿坊があった。肘折地区の聖地として、老僧(地蔵権現)が住んでいた岩窟「地蔵倉」がある。阿吽院が別当(祀り人)を務めたのは1611年頃までで、以降は烏川へ移転している。それ以後密藏院である神野氏が別当を務め、現在に至る。密藏院は現在の丸屋旅館の位置にあった。明治期には宿坊「豊後屋」も営んだが、明治35年に肘折から転居したため、亀屋旅館を営む横山氏が密藏院を引き継ぎ、現在も別当を務めている。神野氏から横山氏に引き継がれるまでの数年間、熊高の宝乗院(羽黒修験)が別当を務めた、という話もある。肘折温泉を訪れたことのある著名人は、斎藤茂吉・板垣家子夫・河東碧悟桐・結城哀草果・鹿児島寿蔵・結城健三などの俳人歌人。戊辰戦争の際に肘折を訪れた桑名藩兵、後の日本陸軍の名将・立見尚文。付近の永松鉱山を経営した古河鉱業副社長、後の内閣総理大臣・原敬など。明治期より名産品として木地挽物・こけしが作られてきた。肘折木地の始まりは現・柿崎伝蔵旅舘の先祖である初代柿崎伝蔵が、江戸末期に宮城鳴子に木地修行に行き、木地技術を持ち帰ったのが始まりである(明治10年頃)。その後、多くの弟子や流れ木地師の定住により当地の大産業に発展し、カネヤマ商店・横山仁右衛門商店、旧・尾形商店などがそれぞれ専属の木地師を抱えて、技術を切磋琢磨しあった。その過程で肘折こけしも系統の一つとして分けられて「肘折系」とされた。肘折温泉にはかつては多くの肘折系こけし工人がいたが、現在当地区内の工人数は１名である。1989年10月16日、環境庁告示第48号により、肘折温泉郷として黄金温泉、石抱温泉とともに国民保養温泉地に指定。