Usan-guk fortsatte ikke under Sillas overherredømme, men ble ikke en integrert del av Korea før i 930 da øya ble annektert av Goryeo. På grunn av den store avstanden til fastlandet var øya lenge et sikkerhetsmessig problem for herskerne på fastlandet. Øya ble nærmest ødelagt av herjinger fra Jurchenpirater i det 11. århundre og senere av Wokoupirater i det 14. århundre. En konflikt med Japan knyttet til fiskerettigheter rundt øya oppstod i 1690-åra på grunn av motstand fra den koreanske fiskeren An Yong-bok. Som svar på vanskelighetene etablerte Joseon-styret en ny «tom øy»-politikk, men dette ble umulig å gjennomføre, og ble avviklet i 1881. Etterpå snudde myndighetene tvert rundt og oppmuntret folk til å flytte til øya.