1918年3月6日から3月8日の第7回ボリシェヴィキ臨時党大会において、ヨッフェは中央委員に再選出されたが、唯の委員候補（投票権なし）であった。3月末にソビエト政府がモスクワに移転したとき、彼はペトログラードに残り、そして4月に駐独ソビエト全権代表（大使）に任命されるまで、彼は中央委員会ペトログラード局のメンバーとして働いた。1918年8月27日、彼は独ソ補足条約に署名した。 1918年11月6日、ドイツの敗戦とドイツ革命勃発の文字通り数日前、ヨッフェを長とするベルリンのソビエト代表部は、ドイツにおける共産党の蜂起を準備した廉で国外追放された。