1901年与幸德秋水参加日本第一个社会主义政党社会民主党。1903年12月再次前往美国。翌年第二国际在阿姆斯特丹举行万国社会党第六回大会，片山潜出席了大会。恰巧此时发生日俄战争，他与俄罗斯代表普列汉诺夫一起，代表劳工表示反战的态度。1906年日本社会党成立后加入该党。片山潜提出议会政策论（工人争取普选权），与幸德秋水的直接行动论（工人罢工发动革命）发生对立而分道扬镳。1911年，片山潜因指挥东京市电罢工而被逮捕入狱。1914年流亡美国。1917年俄国发生十月革命之后，片山潜在思想上开始支持马克思主义