פילסודסקי נולד בכפר זולוב (כיום זלאבס בליטא), למשפחה פולנית מן השלאכטה (מעמד האצולה הזעירה), שירדה מנכסיה. אירועי המרד הפולני נגד השלטון הרוסי בשנת 1863, אשר דוכאו ביד חזקה, והביאו לביטול האוטונומיה שניתנה לפולנים בחלקי ארץ שונים בפולין, ולסיפוח חלקי פולין אל האימפריה הרוסית, היו מאורע מעצב בילדותו. משבגר למד בווילנה, וב־1885 החל בלימודי רפואה בחרקוב שבאוקראינה, אך הושעה מן הלימודים בשנת 1886 בשל פעילות פוליטית וקרבה אל הסוציאליזם. במרץ 1887 נעצר בידי השלטונות הרוסיים הצאריסטים באמתלה כוזבת כי ביקש להתנקש בחיי הצאר אלכסנדר השלישי והוגלה למערב סיביר למשך חמש שנים. אחיו הבכור, ברוניסלב פילסודסקי, אשר היה במעגל חברתי אשר כלל אף את אחיו של לנין, אלכסנדר אולינוב, נדון למאסר בן 15 שנים עם עבודת פרך במזרח סיביר. לאחר שחרורו ב־1892 הצטרף פילסודסקי למפלגה הסוציאליסטית הפולנית, והתחיל בפרסום עיתון מחתרתי בשם "רובוטניק" ("העובד"). בפברואר 1900 נעצר שוב במצודת ורשה, אך העמיד פני חולה רוח, והצליח להימלט בשנת 1901 ממוסד לחולי נפש בסנקט פטרבורג.