その頃のエリス島（及びリバティ島とブラック・トム島）は「オイスター諸島」（Oyster Islands）と呼ばれていた。特に、リバティ島はグレート・オイスター島、エリス島はリトル・オイスター島と呼ばれた。その名前の通り、ニューヨークの住民は19世紀まで、この島の沿岸で牡蠣を採り、港周辺の宿で提供していた。1674年から1679年の間に、オイスター諸島はニューヨーク植民地知事エドマンド・アンドロスによってウィリアム・ダイアー（とメアリ・ダイアーの息子、のちのニューヨーク市長）に譲渡され、「ダイアーズ島」と呼ばれるようになった。その後、バッキング島 (Bucking Island) およびギベット島 (Gibbet Island、絞首台の意味：1760年代、この島の木で何人かの海賊が絞首刑にされたため）と呼ばれた時期もあった。