Øya har vært bebodd minst siden 1200-tallet, for det meste av estlandssvensker. Den antas ofte å være en av Estlands eldste svenskebygder. Før siste verdenskrig var folketallet på øya oppe i 3 000. Under krigen flyktet de fleste estlandssvensker fra Ormsö og andre steder til Sverige. Noen få ble boende gjennom sovjettiden.