1年毕业，投考中学失败，进入新化糖业试验所当临时工，工资每日三毛八分，被所里日本人揶揄「杨贵」为「杨贵妃」，而厌恶其本名「杨贵」。1922年考入台南州立第二中学（现台南一中）。1924年为了深造和抗拒童养媳之婚姻，自主退学，东渡日本内地。1925年考入日本大学专门部文学艺能科夜间部，在学期间参加劳工运动、政治运动。1927年返台参加农民运动，起草台湾农民组合第一次全岛大会宣言而被捕，此后活跃于台湾的社会运动。在台北文化协会认识当时社会与政治运动领袖连温卿，参加民众演讲会。造访凤山农民组合领导人简吉，在此