I hellenistisk og romersk tid synes det som om øyas nedgang fortsatte. Selv om romerne etablerte kontroll over området førte de ikke god nok kontroll til å gi tilstrekkelig beskyttelse. I 129 f.Kr. ble Samos lagt administrativt inn under den romerske provinsen Asia, og antagelig ble også Ikaria inkludert i provinsen. En romersk general påtok seg reparasjoner av Artemis-tempelet som må ha forfalt. I løpet av 100-tallet e.Kr. var romernes aktivitet vendt andre steder og pirater tok kontrollen over Egeerhavet. Folket på Ikaria rømte fra kystbosetningene og inn i innlandet. Augustus gjenetablerte romersk orden i Egeerhavet og oppmuntret Samos til å utvikle Ikaria. Den greske reisende Strabon merket seg rundt 10 f.Kr. at det var to små bosetninger, men ellers var øya forlatt, bortsett fra folk fra Samos som benyttet øya for husdyrshold. Plinius den yngre sto værfast på Ikaros i flere dager og var imponert av stedets enkle, rustikke kvaliteter.