且维盛的岳父就是鹿谷阴谋事件中试图推翻平氏政权的藤原成亲，维盛在平家一门中受到了孤立。后白河法皇在重盛死后又没收了重盛所领的知行国越前，使他的生活收入受到了威胁。1180年（治承4年）9月5日，源赖朝在关东举兵反对平家。平清盛派遣维盛为追讨大将军，平忠度、平知度为副大将，藤原忠清为侍大将，前往征讨源氏。平维盛同侍大将藤原忠清不和，因此直到当月的月底才发兵。在富士川之战中，平家的武将将水鸟的羽音误以为是源赖朝来袭而逃走。维盛率部逃回京都，清盛大为光火，欲将他流放到鬼界之岛去，但在平家成员的求情下赦免了他。