V 15. století jej vlastnili Rožmberkové, po nich Švamberkové. Kryštof I. ze Švamberka klášter v 16. století prodal pánům z Hodějova. Za jejich působení byl klášter částečně opravován, byla obnovena hráz rybníka, byly vytvořeny nové příkopy a hradby. Zvláštní péče byla věnována důkladnějším zpevněním hrází rybníka. Po Bílé Hoře byl pánům z Hodějova zkonfiskován majetek, včetně Milevského kláštera. Klášter byl zpustošený a okolní vesnice opuštěné a podle slov kronikáře "v Milevsku vše zelo chudobou, bídou a lidským pláčem." Císařským rozhodnutím byl klášter přidělen premonstrátskému klášteru v Praze na Strahově. Opět začala další snaha o znovuobnovení původní slávy kláštera. V době církevních reforem císaře Josefa II. se museli premonstráti vrátit do Prahy, avšak nakonec se jim podařilo zajistit, aby byl klášter přidělen ke klášteru Strahovskému; nemalou měrou se o to přičinil opat Strahovského kláštera Václav Josef Mayer v roce 1786.