清朝时是当地的一名贡生，父亲杨仲佐是一名诗人，同时也是一名贩卖菸酒的商人、且政商关系良好与永和蔡家关系甚好。
童年.杨三郎在1907年10月5日出生。在就读小学（小四以前）时，因往返学校与家里时会经过一间文具店，店外经常陈列着盐月善吉的油画，据说因此受到影响，立志成为画家。就读小学四年级时，当时台湾有流行性传染病暴发，学校单位规定学生自备玻璃瓶到校取药，杨三郎在沖洗瓶子时，不慎被破裂的玻璃瓶插进右手中指，后因细菌感染，在台大医院进行截指治疗。杨三郎在家人反对他习画的情形下，用帮