Antvorskov klosters glansperiode som kongeligt slot var kun kort. Den var forbi med Frederik 2.s død, som indtraf på Antvorskov Kloster 4. april 1588. Efter kongens død blev Antvorskov lavet om til et kongeligt fadeburslen. Christian 4., hvis nybygninger snart måtte stille Antvorskov Kloster i skygge, opholdt sig kun her på gennemrejse og undertiden, når epidemier gjorde opholdet andensteds på Sjælland utilrådeligt. I 1619 blev herredagen af den grund afholdt på Antvorskov Kloster. I slutningen af Christian 4.s regering synes Antvorskov Kloster at være kommet stærkt i forfald; under Svenskekrigen 1657-60 blev det yderligere medtaget. Kirken blev lukket i 1684, de kirkesøgende henvistes til Skt. Peders Kirke i Slagelse.