בהתחלה צ'רנוב התיישב בטרטו ביחד עם אשתו השלישית אידה פדר שהייתה ילידת העיר. המטרה הייתה להמשיך בפעילות נגד השלטון הבולשביקי ולהיות קרוב ככל הניתן לרוסיה. צ'רנוב פעל רבות לארגון מחדש של המפלגה ואיחוד כל פלגיה. בשנת 1921 הוא תמך במרד קרונשטאדט. לאחר דיכוי המרד, השלטון הסובייטי דרש מאסטונים לגרש את צ'רנוב מתחומי המדינה. בסופו של דבר צ'רנוב עבר לגרמניה. במשך מספר שנים הוא התגורר בצ'כוסלובקיה, צרפת וגרמניה. הוא המשיך בפעילות פוליטית מפלגתית אך קשר עם חברי המפלגה שהיו בתחומי ברית המועצות הלך ונחלש.