后便随着母亲搬回至高雄市前金区定居。1969年杨双伍十七岁时在高雄市私立国际商职读了一年即辍学，便厮混在前金区前金万兴宫一带，并因纠纷持刀杀死一名船长遭法院判刑8个月闯出名号。杨双伍曾接受媒体採访时表示，年少时期因其台日混血的身份，时常被当地混混辱骂为日本鬼子并遭到欺压，为了自保便开始逞兇斗狠，成为了踏入江湖的契机。1970年代青年时期便混迹于新兴区「万龙戏院」以及「西北戏院」一带，亦被警方视为是「西北帮」成员，并与苓雅寮「联宏帮」、盐埕「七贤帮」、「沙仔地帮」等黑帮角头往来，也因其个性兇狠犯下多起暴力及枪