缙绅也不欲陈炳文外调，颇得政绩赞誉。1862年年正月，受命调杭州，然仍兼领嘉兴军政事务。陈炳文好男色，身畔“有公子数人，傅脂粉，穿艳服”，劣绅汪心耕投其所好，进献娈童吴少溪，陈炳文“一见大喜，蓄为男妾，称以‘大姑娘’，出入卧内”。四月廿八日，听王与慕王谭绍光大破常胜军，克青浦，活捉法尔思德，掳获不少洋枪弹械，令洋兵逢战即畏怕，不敢轻易出战。1864年六月卅日，金溪陷，听王时方卧病白村，急遣弟陈报林令将士皆放仗（不战）。七月初一日，听王、宁王、奖王以众六万、洋枪队七千桿降，被清军编为洋枪队三营南下从征闽、