其他将领击退红巾军，录功为二等，累转版图判书，为乔桐万户。倭寇入侵，罗世逃回，恭愍王大怒，命令囚禁于巡卫府。禑王在位初期，担任全罗道上元帅兼都安抚使。1376年，倭寇五十余艘船在熊渊登陆，过境狄岘，侵犯扶宁县。又毁坏东津桥，使高丽的官军无法进兵。罗世与边安烈、赵思敏等人趁夜筑造桥樑，分兵攻击倭寇。倭寇步骑千余人登上幸安山，官军四面围攻，倭寇大败溃散。罗世因功，判开城事。1377年，当时倭寇入侵江华岛，罗世自请出兵。禑王许之，派他与赵思敏、李元桂、康永、朴寿年等人前去击退。倭寇五十余船攻击江华岛，杀死府使金仁