פילסודסקי נולד בכפר זוּווֹבוֹ (Zułowo), בפלך וילנה של האימפריה הרוסית (כיום בליטא), למשפחה פולנית מן השלאכטה (מעמד האצולה הזעירה), שירדה מנכסיה. אירועי המרד הפולני נגד השלטון הרוסי בשנת 1863, אשר דוכאו ביד חזקה, והביאו לביטול האוטונומיה שניתנה לפולנים בחלקי ארץ שונים בפולין, ולסיפוח חלקי פולין אל האימפריה הרוסית, היו מאורע מעצב בילדותו. משבגר למד בווילנה, וב־1885 החל בלימודי רפואה בחרקוב שבאוקראינה, אך הושעה מן הלימודים בשנת 1886 בשל פעילות פוליטית וקרבה אל הסוציאליזם. במרץ 1887 נעצר בידי השלטונות הרוסיים הצאריסטים באמתלה כוזבת כי ביקש להתנקש בחיי הצאר אלכסנדר השלישי והוגלה למערב סיביר למשך חמש שנים. אחיו הבכור, , אשר היה במעגל חברתי אשר כלל אף את אחיו של לנין, , נדון למאסר בן 15 שנים עם עבודת פרך במזרח סיביר. לאחר שחרורו ב־1892 הצטרף פילסודסקי למפלגה הסוציאליסטית הפולנית, והתחיל בפרסום עיתון מחתרתי בשם "רובוטניק" ("העובד"). בפברואר 1900 נעצר שוב ב, אך העמיד פני חולה רוח, והצליח להימלט בשנת 1901 ממוסד לחולי נפש בסנקט פטרבורג.
עם פרוץ מלחמת רוסיה יפן ב־1904, נסע פילסודסקי ליפן, שם ניסה ללא הצלחה להשיג תמיכה במטרה הלאומית הפולנית. הוא הציע לספק ליפן מודיעין, וכן להקים לגיון פולני שיילחם לצד היפנים, ויורכב משבויי מלחמה פולנים מצבא הצאר שנפלו בידי היפנים. הוא הציע ליפנים תוכנית בשם "פרומתיזם" (על שם הטיטאן היווני פרומתאוס) שמטרתה לפרק את האימפריה הרוסית למרכיביה האתניים, מטרה אותה ינסה להשיג כל חייו, ואשר תושג רק עם נפילת ברית המועצות בשנת 1991 (וגם אז בצורה חלקית בלבד - ויעידו על כך 21 הרפובליקות של רוסיה, בהן חיים מרכיבים אתניים שטרם זכו לעצמאות). התערבותו של יריבו הגדול רומן דמובסקי, אשר היה בעל אוריינטציה פרו-רוסית ואנטי-גרמנית, הביאה לסיכולם של כל מאמציו ביפן.
מלחמת העולם הראשונה והקמת פולין מחדש.
פילסודסקי צפה את העימות האירופי המתקרב, ואת הצורך להקים גרעין שישמש כצבא פולין העתידי, ואשר יסייע בקידום עצמאותה של פולין משלוש האימפריות שחילקו אותה ביניהן בסוף המאה ה-18. בעזרת כספים ש"החרים" מרכבת דואר רוסית ליד וילנה ב־1908 הקים ארגון צבאי סודי. שנתיים לאחר מכן הפך את הארגון לאגודה לגיטימית בשם "אגודת הרובאים" אשר פעלה בהסכמתו ובעידודו של צבא האימפריה האוסטרו הונגרית. בפגישה בפריז ב־1914 הכריז פילסודסקי כי המלחמה היא בלתי נמנעת, וכי פולין תשיג את עצמאותה. רוסיה תובס על ידי מעצמות המרכז (אוסטריה הונגריה והאימפריה הגרמנית), ואלו יובסו על ידי צרפת, בריטניה וארצות הברית. היה זה תיאור מדויק למדי של מהלך האירועים כפי שאירע בפועל במהלך ארבע השנים הבאות.
עם פרוץ מלחמת העולם הראשונה ועד שנת 1917 הקים פילסודסקי את "" אשר נלחם בהצטיינות לצד צבאות מעצמות המרכז נגד רוסיה, אך נכשל בנסיונותיו לעורר התקוממות עממית נגד הרוסים. ב־5 בנובמבר 1916 הכריזו הגרמנים על "עצמאותה" של פולין, ועל הקמתה של "ממלכה פולנית". בראשה של הממלכה עמדה "מועצת מדינה פולנית" בתקווה לגייס לצידם המוני פולנים שיוכלו להביא לשחרורם של כוחות גרמניים אל החזית המערבית. פילסודסקי, אשר שירת כ"שר לענייני צבא" ב"מועצת העוצרים" (גוף שלטוני שהוקם על ידי הגרמנים לצד "מועצת המדינה") התנגד לדרישה כי היחידות שיגויסו ישבעו אמונים לגרמניה ולאוסטריה. ויכוח זה הביא למעצרו ביולי 1917 והוא נשלח לכלא במגדבורג שבגרמניה.
עם כניעתה של גרמניה בנובמבר 1918 נשלטו חלקים שונים מפולין בידי גורמים מקומיים שונים. ב־7 באוקטובר 1918 הודיעה "מועצת העוצרים" על פירוק "מועצת המדינה" שהייתה הכלי שבאמצעותו שלטה גרמניה בפולין, ועל כוונה להשיב לפולין את עצמאותה. רוב המפלגות הפוליטיות (פרט לאנשי השמאל הקיצוני) תמכו בצעד זה, וב־23 באוקטובר מינתה המועצה ממשלה בראשות יוזף שביֶז'ינסקי, אשר החלה בגיוס ל"צבא פולין". ב־6 בנובמבר 1918 הכריזו הקומוניסטים בלובלין על הקמת רפובליקה, ובאותו היום הכריזו סוציאליסטים בראשות על הקמתה של רפובליקה נוספת.
ב־8 בנובמבר 1918 פילסודסקי וידידו קאזימיֶש סוסנובסקי שוחררו, ועד מהרה, בדומה ללנין לפניהם, הושמו על רכבת פרטית בדרכם אל בירת מדינתם, ורשה. ב־11 בנובמבר הצליח פילסודסקי לאחד את כל הפלגים, ולהתמנות למפקד עליון על הצבא הפולני. ב־14 בנובמבר פיזרה מועצת העוצרים את עצמה, והעבירה את סמכויותיה לפילסודסקי שהיה ל"ראש המדינה" (Naczelnik Państwa). גורמים שונים ברחבי המדינה, כגון "ועדות החיסול" שהוקמו בגליציה על מנת לחסל את שרידי השלטון האוסטרי, וועדה מקומית בשצ'צ'ין הודיעו על נאמנותם לשליט החדש. פילסודסקי מינה לראש הממשלה את אחד מחבריו בתקופת חברותו במפלגה הסוציאליסטית הפולנית, ידז'יי מורצ'בסקי. כך קמה "הרפובליקה הפולנית השנייה".
המלחמה הפולנית – סובייטית.
חזונו של פילסודסקי היה ליצור פדרציה שתיקרא "Międzymorze” ("בין הימים") ותשתרע בין הים הבלטי והים השחור, ובה יכללו פולין, ליטא, בלארוס ואוקראינה בדומה לאיחוד הפולני-ליטאי, אשר במהלך ארבע מאות שנים היה הכוח המוביל במזרח אירופה, והגן על חבריו מפני הגורמים העוינים באזור: האבירים הטבטונים, המונגולים, העות'מאנים, האימפריה הקולוניאלית השוודית, עד לחלוקתה של פולין במאה ה־18. תוכנית זו לא באה לידי מימוש בשל תוצאות המלחמה הפולנית-סובייטית.
גבולה של פולין במזרח לא נקבע, בניגוד לגבולה במערב, עם גרמניה, שנקבע בהסכם ורסאי. על השולחן הייתה מונחת הצעתו של שר החוץ הבריטי, הלורד ג'ורג' נתניאל קרזון לקו גבול שיגדיר את שטח המדינה הפולנית במזרח במקומות בהם קיים רוב אתני פולני. פילסודסקי סירב לקבל את קו קרזון, ופעל במרץ להרחיב את גבולה של פולין במזרח, מעבר לקו קרזון, אל עבר שכנותיה של פולין ליטא, אוקראינה ובלארוס. במרץ 1920 קיבל פילסודסקי את דרגת "מרשל פולין" ובאפריל של אותה השנה חתם על ברית עם הלאומנים האוקראינים שבהנהגת סימון פטליורה, על מנת להילחם בצוותא נגד רוסיה הסובייטית. המלחמה בין הפולנים והסובייטים הייתה למעשה עובדה מוגמרת מזה מספר חודשים, ותקריות גבול שהלכו והחריפו ניצתו לאורך כל גבולותיה המזרחיים של פולין. הכוחות האוקראינים והפולנים בראשות פילסודסקי התקיפו את הרוסים באוקראינה, וב־7 במאי כבשו, כמעט ללא התנגדות, את בירתה של אוקראינה קייב.
הסובייטים החלו בהתקפת נגד מכיוון בלארוס והתקדמו לתוך פולין, כשמטרתם להגיע לגרמניה על מנת לסייע לפועלים שם במאבקם המהפכני. באוגוסט 1920 עמדו הסובייטים, בפיקודו של הגנרל מיכאיל טוכאצ'בסקי בכוח גדול בשערי ורשה. תוכניתו של פילסודסקי הייתה כי הצבא הפולני ייסוג לאורך נהר הויסלה ויגן על ראשי הגשר באזור ורשה, וכרבע מן הכוח ירוכז בדרום למתקפת נגד אסטרטגית. על פי התוכנית, שתי ארמיות פולניות בפיקודו של הגנרל יוזף הלר אשר ניצבו מול הכוחות הרוסים המתקיפים מן המזרח, יחזיקו בעמדותיהם בכל מחיר. בה בעת, ארמייה בפיקודו של הגנרל ולדיסלב שיקורסקי תכה בפולשים מצפון, מאחורי העיר ורשה, ותמנע את תוכניות הרוסים להקיף את העיר בתנועת מלקחיים. את התפקיד החשוב ביותר העניק פילסודסקי ל"צבא מילואים" בן 20,000 איש אשר הושם תחת פיקודו האישי, וכלל את היחידות הנחושות והמנוסות ביותר בצבא הפולני. תפקידם היה לתקוף במהירות מצפון, על נהר הוויסלה, בנקודה אותה זיהה פילסודסקי כנקודת תפר בין הארמיות הרוסיות המתקיפות מצפון ומדרום. מתקפה זו תפריד את הכוחות הרוסיים, ותפעל בעורפם לניתוק קווי אספקה ותקשורת. לבסוף, הפער בין צבאות פילסודסקי ושיקורסקי ייסגר, וכך יכותרו הכוחות המתקיפים.
תוכנית זו ספגה ביקורת חריפה, ורק מצבו הנואש של הצבא הפולני הביא להסכמה על ביצועה. על אף שהתוכנית התבססה על מידע מודיעיני מוצק, שהתקבל כתוצאה מהישג טכנולוגי של המודיעין הפולני, אשר הצליח לפענח את תשדורות הרדיו הרוסיות המוצפנות, לא האמינו רבים בפיקוד הפולני באפשרות ביצועה. התוכנית בוצעה כלשונה, והביאה למהפך בלחימה שכונה "הנס על הוויסלה". הגעתם של יועצים צרפתים בראשות הגנרל מקסים וייגאן, שלישו לשעבר של המרשל האגדי פרדיננד פוש, (והאיש שעתיד לעמוד בראש הצבא הצרפתי המובס ב־1940), הביאה לייחוס הניצחון על הוויסלה לווייגאן, על אף שהיה זה פילסודסקי אשר הגה את התוכנית וביצעה, ותרומתו של וייגאן, חסיד המגננה הקווית מבית המדרש הצרפתי במלחמת העולם הראשונה, הייתה שולית. שנים לאחר מכן יישם קצין צעיר במשלחת הצרפתית בשם שארל דה גול את האלמנטים של מלחמת תנועה והפתעה שראה בזירה זו, למטרותיו הוא.
מוורשה המשיך צבא פולין מזרחה כמעט ללא מעצור. כעבור ארבעה חודשים, ב־12 באוקטובר נאלץ פילסודסקי לקבל הפסקת אש שלה שיווע הצבא האדום, ועליה לחצו מעצמות המערב. במרץ 1921 בריגה חתמו הצדדים על הסכם שסיים את המלחמה הפולנית-סובייטית. הסכם זה העניק לפולין שטחים נרחבים במזרח, אך חלק ניכר מבלארוס ומאוקראינה נותר בשליטה סובייטית, וכך הושם קץ לחלומו הפדרליסטי של פילסודסקי.
ימיה הראשונים של הרפובליקה השנייה.