לברטובסקי שימש כמנהל חשבונות בבנק, עד סוף מלחמת העולם הראשונה, ובמקביל פעל רבות בתחום התרבות בעיירתו. במסגרת זו הרצה על נושאים בתחום הספרות. בשנת 1918 הצטרף למפלגה הציונית סוציאליסטית "פועלי ציון", היה חבר ועד גליל ביאליסטוק, וציר בוועידת המפלגה, שהתכנסה בעיר קרקוב בשנת 1920. לאחר הפילוג בתנועת פועלי ציון, עבר ל"פועלי ציון שמאל", והיה פעיל בסניף ורשה. ב-1921 פרש מהמפלגה, והצטרף למפלגה הקומוניסטית הפולנית הבלתי לגאלית בפולין העצמאית, הקפ'פ (Komunistyczna Partia Polski - KPP). תוך זמן קצר, התמנה למזכיר הלשכה היהודית המרכזית, שפעלה ליד הוועד המרכזי של הקפ'פ, ונבחר לחבר הוועד המרכזי של המפלגה. בשנים שלאחר מכן, עבד במזכירות הארצית של המפלגה והיה פעיל בקומינטרן. פעמים רבות נאסר, וישב בבתי כלא פולניים כעשר שנים במצטבר. עד לפרוץ מלחמת העולם השנייה, ישב שבע שנים רצופות בכלא בעיירה ראביץ', מאסר שהתיש את כוחו. באחת הפעמים, כאשר הגיעו לאסור אותו, קפץ מחלון ביתו. כתוצאה מכך, הפך לנכה ברגלו. בימים שבין מאסר למאסר, ארגן והדריך תאי מפלגה שהיו במחתרת. בניגוד לפעילים קומוניסטים אחרים, הייתה זהותו היהודית עיקר חווייתו האנושית, ואת עיקר מאמציו השקיע בתקופה זו בפעילות בקרב הציבור היהודי, שהצטופף בשכונות העניות של ורשה. בית הכלא שבו שהה והיה אסיר, נפרץ לפני בוא הגרמנים, ויוסף, שאימץ זה מכבר את השם הפולני לברטובסקי, נמלט למזרח פולין, אליו נכנסו הסובייטים בעקבות הסכם ריבנטרופ-מולוטוב, והשתקע בביאליסטוק. באותה תקופה התמנה למנהל בית חרושת לאריגים ונשא אישה.