他在竹联帮内得到好的声望。1984年10月，台湾实行「一清专案」全国大扫黑，竹联帮数百名成员遭到逮补入狱。赵尔文得知政府全力扫荡帮派份子，常常在半夜抓人，担心之余曾躲藏在山上躲避查缉，并于1985年底和家人成功闯关出境。1996年台湾再度实行「治平专案」全国大扫黑，导致精神领袖「鸭霸子」陈启礼、帮主「么么」黄少岑等人相继离开台湾躲避，造成竹联帮长期处于群龙无首的状态。随后在2001年间，由竹联帮多位干部及堂主推举赵尔文担任帮主来领导竹联帮，因而被冠上「赵霸子」的称谓，并且由帮内大老「瓦哥」冯