中，平家的武将将水鸟的羽音误以为是源赖朝来袭而逃走。维盛率部逃回京都，清盛大为光火，欲将他流放到鬼界之岛去，但在平家成员的求情下赦免了他。1181年在尾张国墨俣川与平重衡、忠度共同击破源行家的军队，升为从二位右中将、藏人头，人称小松中将。1183年（寿永2年）率军10万（一说4万）前往征讨北陆道的木曾义仲，在俱利伽罗峠之战中被木曾义仲击败，平家方面伤亡惨重。此后平家决定抛弃京都前往西国。平维盛随行前往，但将自己的妻儿新大纳言局和平六代留在了京都。维盛的此举，引起了平宗盛和平知盛的怀疑，认为其怀有二心。