Трудным для Сталина оказался XIII съезд РКП(б). Перед началом съезда вдова Ленина Н. К. Крупская передала «Письмо к съезду». Оно было оглашено на заседании Совета старейшин (неуставного органа, состоящего из членов ЦК и руководителей местных партийных организаций). Сталин на этом заседании впервые заявил об отставке. Каменев предложил решить вопрос голосованием. Большинство высказалось за оставление Сталина на посту генсека, против голосовали только сторонники Троцкого. Затем было проголосовано предложение, что документ должен быть оглашен на закрытых заседаниях отдельных делегаций, при этом никто не имел права делать записи и на заседаниях съезда на «Завещание» было ссылаться нельзя. Таким образом «Письмо к съезду» даже не упоминалось в материалах съезда. Впервые оно было оглашено Н. С. Хрущёвым на XX съезде КПСС в 1956. Позже этот факт использовался оппозицией для критики Сталина и партии (утверждалось, что ЦК «скрыл» «завещание» Ленина). Сам Сталин (в связи с этим письмом несколько раз ставивший перед пленумом ЦК вопрос о своей отставке) эти обвинения отвергал.