Rotunda byla vážně poškozena nájezdem husitů v roce 1420, kdy byly zbourány mnohé církevní stavby. Rotunda sv. Martina byla poškozena jen velmi málo v porovnání s jinými budovami, byla ovšem velmi poničena výzdoba a vyhnáni její opatrovníci. V roce 1528 byla poškozena ohněm, jak je psáno ve starých letopisech. Po tomto požáru byla znovuobnovena. V období třicetileté války pak sloužila jako skladiště střelného prachu. Roku 1719 byla pak kaple znovu obnovena, starý románský vstup byl nahrazen barokním portálem. V průběhu následujících let na ní pak byly provedeny i další opravy. Poté v roce 1757 byla nejen poškozena pruským vojskem, ale dokonce byla Josefem II., jako zbytečná kaple, odsvěcena. Dále sloužila jako skladiště, dílna či ubytování pro chudé. V roce 1841 měla být zbourána, aby uvolnila místo pro silnici, naštěstí se tak zásluhou hraběte Karla Chotka nestalo.