赤尾屿的周边岛屿系统中，望赤岛相对独立，与其它各岛（赤尾屿、赤背北岛、赤背东岛、赤背西岛、赤背南岛、小赤尾岛、赤头岛、赤冠岛、赤鼻岛、赤嘴岛）的群体相距大约300米，遥遥相望，它是台湾渔民去往赤尾屿最先到达的小岛，故名“望赤”。从望赤岛看赤尾屿，正好是赤坎岭最薄处。中华人民共和国公布的钓鱼岛海区的领海基线，其中一个基点就在望赤岛。