平军北伐，被任命为大将。北伐军于1854年初因粮尽被迫南撤至连镇时，林凤祥闻知天京派来的援军到达山东，派李开芳分兵迎接援军。在会合援军前，援军已经溃散，李开芳只好固守山东高唐州，并派人向连镇报告援军已溃散的消息，请即撤退到来一同南归。尔后连镇溃败，清将僧格林沁率兵到高唐州，李开芳知道林凤祥已全军覆没，从高唐州突围至冯官屯，又被清军围困。清军因见冯官屯旁有汉河，可通徒骇河，乃用水攻，引放运河的水淹冯官屯。此时李开芳意欲诈降以突围，然而此计为僧格林沁识破，李开芳以及他的部下黄懿瑞、谢金生、李天佑、谭有桂、韦名传