סרג' הביע ביקורת על הטיפול במרד קרונשטאדט ועל הטרור האדום, שהוביל פליקס דזרז'ינסקי. ב-1923 סרג' חבר לאופוזיציה השמאלית, שכללה את לאון טרוצקי, קארל ראדק, אדולף יופה, אלכסנדרה קולונטאי, אלכסנדר שליאפניקוב. בהמשך חברו אליהם גם זינוביאב ולב קמנייב. סרג' ביקר גם את מדיניות החוץ הסטליניסטית ואת תוצאותיה העגומות, במיוחד עבור המפלגה הקומוניסטית הסינית. בעקבות הביקורת סבל סרג' מהדרה עד כדי קושי להתפרנס. הוא ביקש רשות להגר מברית המועצות, אך סורב. ב-1927-1928 הכיר את פנאיט איסטרטי, שבא לברית המועצות לחגיגות העשור למהפכה והתיידד איתו. הוא שיתף את איסטרטי בצרות שהיו למשפחת רוסקוב, משפחת אשתו ומכך שאב איסטרטי החומר למאמרו על "פרשת רוסקוב". סרג' העביר לאיסטרטי כתב יד, שפורסם על ידו בצרפת כחלק מהטרילוגיה "אל להבה אחרת" ("Vers l'autre flamme"). החלק של סרג' פורסם ללא ציון שמו, מחשש לתגובת הממסד הסובייטי.