先祖唐朝郑孝王李亮。嘉庆二十三年（1818年）生于湖南湘乡敦行四十四都（今属涟源市荷塘镇古楼），排行第四，曾祖父李本桂富甲一方，生性慷慨，借钱给别人，不满一百两白银，不必写借据。自幼臂力过人，善骑射，早时卖煤炭供胞弟李续宜读书，举人罗泽南很看重他。道光十八年（1838）开始参与团练乡民的工作。太平军事起，李续宾协助罗泽南办团练，“能以兵法约束子弟，明耻教战，训练尤精”，咸丰三年与罗援江忠源于南昌，以战功升知县，又与罗剿平江西南部土匪。咸丰四年（1854年）六月，湘军中营与右营攻打岳州，太平军退出岳州，