地主家当长工。1892年2月某夜，张仁奎自地主家出走，步行至台儿庄，后在大运河船上当装卸帮手，随船南下。在苏北，张仁奎投徐宝山部军队，并加入青帮，拜青帮理字辈沈淦（人称“沈二太爷”）为师。徐宝山是长江中下游盐枭，跨青帮和红帮，于1900年6月被两江总督刘坤一招安，统带由其手下盐枭、帮会弟兄编成的新胜缉私营，并且兼任虎字陆营管带，两部队均驻扬州十二圩沿江地区。1911年辛亥革命爆发后，驻江苏镇江的清军巡防营统领徐宝山率部赴扬州，捕杀已经在扬州起义的孙天生，自任扬州军政分府军政长兼民军军长，其民军多由其青帮