En el VII Congreso Extraordinario del Partido Bolchevique, celebrado entre el 6 y el 8 de marzo de 1918, Iofe fue reelegido para el Comité Central, pero como miembro sin voto. Permaneció en Petrogrado cuando el Gobierno se trasladó a Moscú ese mismo mes y trabajó en la Oficina del Comité Central en esa ciudad hasta que, en abril, se lo nombró representante soviético en Alemania. Fue el primer embajador soviético en Berlín. El , firmó el Tratado Suplementario Germano-soviético, resultado de las largas negociaciones económicas bilaterales que habían comenzado en la primavera. El 5 de noviembre de 1918, apenas unos días antes de la firma del Armisticio de Compiègne, la legación soviética fue expulsada del país, acusada de planear un alzamiento comunista. Desde marzo, se opuso en vano al nombramiento de Gueorgui Chicherin como comisario de Asuntos Exteriores.