Během Listopadového povstání v roce 1863 byl palác vypálen rakouskou armádou. Další vlastník, Julian Puzyna, budovu přestavěl, ale během první světové války, kdy byl Narol opět zničen a vypálen, byly cenné předměty z paláce odvezeny ruskou carskou armádou. Posledním majitelem panství i paláce byla Jadwiga Korytowska. Částečně palác přestavěla a vlastnila jej až do září 1939. Během druhé světové války zde sídlila malá jednotka německého Wehrmachtu.