五島列島に人が住み着いたのは早く、一部には旧石器時代に既に人が住みついていたという。島では旧石器時代以降、縄文時代や弥生時代の遺跡が非常に多く発見されている。
日本人の先祖の大部分がどこから来たのかについては多くの説があるが、五島列島は最近でも中国やベトナムからの難民を乗せた船が何度も流れ着き、また台風の時は中国漁船の避難場所にもなっており、中国大陸南部から海流にまかせて流されれば五島に着く可能性も充分にある。
『肥前国風土記』にも、五島の海士は「容貌、隼人に似て、常に騎射を好み、その言語は俗人に異なれり」と記されている。
五島では島々が密集していながら地続きではなく、全体としてはかなり大きいといえる。五島列島のどこにいてもたいてい海が見える。
このような自然環境は漁労民には大きな利点であった。遺跡などから考えると、縄文時代の生活は同じ時代の本土と変わらないものであったが、その後、弥生時代になると本土発祥の生活様式などがやや遅れて五島に伝わってくるようになったと思われる。
ただし、時代が下っても平安時代には後期遣唐使が最後の寄港地とするなど、本土から距離があるとはいえ大陸に近いということもあり、中央の文化と長く隔絶された状況ではなかった。
「両児島（ふたごのしま）」についても、五島の南西に離れて浮かぶ男女群島のことであるとするのが通説である。
五島列島に比してかなり小さい男女群島は現在の行政区画では五島市 に入るが、この島も女島灯台が設置されるなど近年に至るまで重要な島であった。これらのことからも、古代において五島列島や周辺の島々が中央にもよく知られていたことが分かる。
中世以降から五島藩の成立まで.
その後、中世に至るまで五島列島の政治勢力に大きな変化はみられなかったが、鎌倉時代以降は松浦水軍の松浦党に属した宇久氏が勢力を伸ばし、宇久島から五島列島のほぼ全域を支配下に収める。
また、戦国時代には倭寇（後期倭寇）頭目で貿易商人の王直が宇久氏の協力の下で活動の一拠点としている。
このように、中世以降の歴史においても、大陸や朝鮮半島に近いことが五島の運命を決定している。種子島への鉄砲伝来にも主導的な役割を果たしたといわれる王直は「五峰王直」の名でも知られるが、この五峰とは五島の別称である。