跟郑玉东学习小提琴，后改习小喇叭，十九岁即被邀请在同声俱乐部献艺。1937年赴日本，拜音乐家清水茂雄为师，学习音乐，1940年赴满洲国各地，担任乐师，1945年因中日战争转趋激烈而回台。1946年组乐队加入台湾广播电台（中国广播公司前身），1947年在吕泉生鼓励下，完成处女作——《望你早归》而扬名歌坛。1948年，他结识周添旺，两人先后合作了《孤恋花》、《思念故乡》、《秋风夜雨》等名作；杨三郎的创作量也随着他的「乐师生涯」而屡有佳作出现，如《港都夜雨》、《秋怨》等等。1952年组「黑猫歌舞团」至全台各地巡回