באותה תקופה, סוף עידן פולין הקונגרסאית, ניסה השלטון הרוסי לפקח ביתר תשומת לב על מערכת החינוך כדי למנוע פעילות מחאה נגד האימפריה הרוסית. בפרוץ המרד הפולני בראשית שנת 1863 נעצר גולדמן בבית כנסת בעיר, ונגזרה עליו הגליה לסיביר. גם אחיו יֶז'י (Jerzy) הוגלה לסיביר, ואחר-כך הותר לו לשוב לוורשה, אך נאסר עליו לצמיתות לעבוד כרופא על אף שסיים הכשרתו במקצוע.