У 1320 році житомирську фортецю захопив литовський князь Гедимін, так звільнив з-під влади Золотої орди та приєднав його до складу Великого князівства Литовського «В 1320-их роках, — пише український історик Іван Крип'якевич, — великий князь Гедимін зайняв Берестейщину, дещо пізніше також Пінщину разом з давньою древлянською землею. Його син Любарт, в 1340 р. став волинським князем і намагався здобути Галичину. Другий син Гедиміна — Ольгерд — в 1350-их роках опанував чернігівсько-сіверську землю, в 1362 р. зайняв Київ, у 1363 р. переміг татар над Синьою Водою і поширив свою владу на Поділля». В наслідок цього почастішали набіги татар, місцеве населення будувало оборонні спорудження з підземними ходами, залишки яких знаходять ще й досі.