属涟源市荷塘镇古楼），排行第四，曾祖父李本桂富甲一方，生性慷慨，借钱给别人，不满一百两白银，不必写借据。自幼臂力过人，善骑射，早时卖煤炭供胞弟李续宜读书，举人罗泽南很看重他。道光十八年（1838）开始参与团练乡民的工作。太平军事起，李续宾协助罗泽南办团练，“能以兵法约束子弟，明耻教战，训练尤精”，咸丰三年与罗援江忠源于南昌，以战功升知县，又与罗剿平江西南部土匪。咸丰四年（1854年）六月，湘军中营与右营攻打岳州，太平军退出岳州，罗泽南和塔齐布进城，唯有李续宾率领右营追击敌军，趁着大雨擒斩两千多人。塔齐布