21年前往苏联，担任第三国际常任执行委员会干部。他在国外指导日本共产党的成立事务，同时指挥着反对帝国主义大同盟。1933年11月5日，片山潜死于莫斯科。同月9日，15万苏联市民和第三国际领导人参加了他的葬礼。加里宁、斯大林、威廉·皮克、库恩·贝拉、野坂参三等14人为他盖上了棺材。根据苏联共产党的最高荣誉，他的遗骨被砌入了克里姆林宫的墙壁之中。