隐岐岛、佐渡岛）之后，又建了六小岛，姬岛就是六小岛的其中之一。由于姬岛产的黑曜石具有明显的灰白色特征，易于与其它黑曜石之间辨识，在日本的中国地方与四国地方的绳文时代遗迹之中曾发现出产自姬岛的黑曜石，因此可以判断在当时岛上已有交易的行为。战国时代大友氏的水军曾以此作为据点。1864年的下关战争中，英国、美国、法国、荷兰的联合舰队也曾以此为据点与日本作战。
交通.岛上依靠村营渡轮「姬岛丸」的定期航班与位于九州国东市的伊美港联系。