年少时期因其台日混血的身份，时常被当地混混辱骂为日本鬼子并遭到欺压，为了自保便开始逞兇斗狠，成为了踏入江湖的契机。1970年代青年时期便混迹于新兴区「万龙戏院」以及「西北戏院」一带，亦被警方视为是「西北帮」成员，并与苓雅寮「联宏帮」、盐埕「七贤帮」、「沙仔地帮」等黑帮角头往来，也因其个性兇狠犯下多起暴力及枪击案而打响名号。1980年2月时被刑事局提报为流氓并逮捕移送绿岛监狱管训，同年11月利用保外就医机会从台东医院脱逃，开始长达十年的逃亡生活。1982年10月11日，杨双伍在高雄市三民区金龙工业社遭新兴