З канца XIII ст. ў складзе Вялікага Княства Літоўскага, уладанне князя Даўмонта. У XIV — XVIII стст. цэнтр Рагачоўскай воласці, кіраваўся старостам. У 1509 г. пінскі князь Фёдар Іванавіч і яго жонка Алена завяшчалі Рагачоў (у ліку іншых гарадоў) каралю польскаму і вялікаму князю літоўскаму Жыгімонту I Старому. У 1548 г. тут існавала царква св. Кузьмы і Дзям'яна. У XVI cт. на месцы старажытнага гарадзішча быў пабудаваны Рагачоўскі замак з Рагачоўскім палацам, які меў стратэгічнае значэнне і ў XVII ст. ўваходзіў у сістэму пагранічнай абароны на Дняпры (спалены ў 1654 г., канчаткова знішчаны ў 1780 г.). У 1566 г. згадваецца царква Святых Кузьмы і Дзям’яна. У час вайны Маскоўскай дзяржавы з ВКЛ 1534—1537 гг. і вайны Расіі з Рэччу Паспалітай 1654—1657 гг. горад некалькі разоў захопліваўся маскоўскімі войскамі і пацярпеў ад ваенных дзеянняў. У канцы XVI ст. ў ваколіцах Рагачова дзейнічалі казацка-сялянскія атрады С. Налівайкі і Дубіны.