Сразу после смерти Сталина внезапно исчез из поля зрения германской прессы и из Берлина, чем дал повод к шумихе. Семенов объяснял этот период тем, что Молотов, вернувшись в МИД, вызвал его из Берлина и предложил стать заведующим 3-м Европейским отделом, членом коллегии МИДа. Его идеи по Германии были отвергнуты Берией. Возвратился в Германию и в июне 1953 года, после роспуска Советской контрольной комиссии он получает должность "Верховного комиссара Советского Союза в Германии". В стране по предложению Берии стали вводить «новый курс» экономии, что вызвало недовольство населения. В июне руководил подавлением протестов немецких рабочих, но отказался выполнять приказ Политбюро стрелять по людям. После свержения Берии не пострадал. В сентябре того же года он был назначен послом СССР в ГДР в Восточном Берлине.