得敬重，又加上樊燮是武官，并非时人尊敬的文家儒士，于是大骂樊燮：“王八蛋，滚出去！”樊燮被左氏羞辱之后，向朝廷参奏左氏，没想到左氏与潘祖荫等人交结，反将一军，咸丰帝决定将樊燮罢免。但左宗棠也因此离开骆秉章幕府，荐举刘蓉替代自己。樊燮大怒：「伊区区孝廉尔，可气燄如此！」（左宗棠只考取举人，未能考取进士）于是将其子樊增祥换上女装，关在精舍之中读书，要他考中进士才准换上全套男子的长袍马褂。