入我方阵地，人困马乏，大王率领精锐部队，亲自出击，一定取得胜利。而今见到敌人就要退走，显示我们胆怯，使军心沮丧，更增加对方军队的气焰，大王千万不可回军。」杨谅不听从，退守清源（山西省清徐县）。杨素进而发动攻击，杨谅与之大战，死了一万八千人，杨谅退保晋阳，杨素四面包围，杨谅束手无策，请求投降，文武百官上奏杨谅罪当死，隋炀帝说：「始终是兄弟，在情不忍心，欲饶恕免其一死。」于是削为民，除其户籍，杨谅遂被囚禁而死。儿子杨颢也因此被禁锢，宇文化及弒逆隋炀帝之时，遇害。