4年，再次担任外事人民委员。1921年出任苏联驻波兰大使。1924年7月31日－1926年9月10日，他担任苏联驻中国大使，在1924年代表苏方与北洋政府签订《中苏解决悬案大纲协定》。同年与军阀冯玉祥接触。1925年1月20日，加拉罕与日本驻华公使芳泽谦吉签署《日苏基本条约》，2月26日在北京互换批准书。1926年9月，因中东铁路问题，在张作霖的强烈抗议下，加拉罕撤离中国。1934年后担任驻土耳其大使。 1937年在大清洗中被逮捕处死。