בשנת 1665 השוודים כבשו את האזור, והעיר נחרבה ברובה, לאחר מכן היא לא חזרה למעמדה הקודם. הכנסייה שבה לא נבנתה מחדש עד 1693 ובשנת 1777 מספר התושבים היה רק 63 אנשים. האוכלוסייה בנור עלתה עד שבשנת 1827 מנתה 514 איש ו-75 בתי אב. בשנת 1860 האוכלוסייה מנתה 813 נפשות ביניהן 299 יהודים. בתחילת המאה ה-19 ידוע על קיומם של 74 בתי אב יהודים וגויים. בעקבות מרד ינואר, התקוממות המיעוט הפולני בשטח האימפריה הרוסית ב-1863, והפסד הפולנים במרד, איבדה לבסוף נור את מעמדה כעיר בשנת 1869.