히메시마산의 흑요석으로 만들어진 석기가 주고쿠, 시코쿠의 조몬 시대 유적에서 발견되고 있어 이 시대에 넓게 교역을 하고 있던 것으로 추정된다. 중세에는 오토모 씨의 수군, 해변에 사는 사람들의 근거지의 하나가 되었다. 1864년의 시모노세키 전쟁에서는 영국, 미국, 프랑스, 네덜란드의 연합 함대가 히메 섬을 거점으로 했다.