与直鲁联军作战，杨见政局大变，遂于是年秋率第十军退出战场，至皖北太和休整。杨于此时申请加入中国共产党，希望“能做第二个贺龙”，将部队改编为中国工农红军。。但中共河南省委未予批准。不久中共地下党在第十军中醖酿暴动，杨坚持反对，只好于1928年2月与谢葆贞及秘书米暂沉到南京、上海、普陀山一带游览。临行前，他对参谋长说：「这些朋友都是我们请来的，纵一时不能合作，也要对得起朋友，要有道义，要留有他日见面的余地。」4月初，暴动失败，魏野畴等被捕杀。1928年4月末，杨东渡日本半年。1928年秋，中共中央《致东京市委信