但他们二人在1931年日本政府的肃共大逮捕中双双入狱。1936年，杨克煌出狱。出狱后，杨克煌和黄绣雀结婚，育有3个孩子。谢雪红出狱后，杨克煌仍与谢雪红在一起，虽未结婚，但共同开店，形同夫妻。1945年春，谢雪红和杨克煌在台中头汴坑乡下依靠种龙眼、香蕉维持生计，并躲避大轰炸。此时杨克煌还把妻子黄绣雀和3个孩子接来一起住。1945年6月，简易保险局在头汴坑开设办事处，杨克煌应征担任职员，每月30元薪水。1945年抗日战争胜利后，杨克煌参加组织台湾人民协会，并当选为中央委员。1946年，参加中国共产党