是幕友，故拒绝行礼：「吾二品总兵，与汝四品幕僚请安？岂有此理？」左自认为骆秉章的代表人，相当有气焰，对轻慢于他的樊燮非常不悦，大骂「王八蛋，滚出去！」，樊燮气极而向咸丰帝弹劾，却因潘祖荫等人支持左宗棠，樊燮反而被朝廷罢黜。左宗棠也因此离开了骆秉章处，推荐刘蓉代替自己。樊燮大怒：「伊区区孝廉尔，可气燄如此！」返乡后，在先人牌位旁边，写下「王八蛋滚出去」六个字之木牌，名为「洗辱牌」。并聘请名师教导其两子，要求两子在超越只有举人功名的左宗棠，为父报复。且命令两子有所成就前须身穿女装，以作激励：「考秀才进学，脱