不适，回到京师。文帝因为他生活太奢侈骄纵，便将他的官位都免去，让他纯粹做一个王，要他安份地待在他的王府里。左武卫将军刘昇进谏说：「秦王没有其他过错，只是浪费了些，臣认为可以赦免他。」但文帝认为法不可违，因此不管刘昇再怎么进言，文帝只是越来越感到生气。之后杨素也来进言说：「秦王的过失，罪不至此，请皇上再三考虑。」文帝说：「我是五个儿子的父亲，如果依你们的话行事，那怎么不来制订一套天子儿子专用的法律？想当年以周公的为人，都可以诛杀管叔与蔡叔，我既然差周公还远得很，又怎么能做出违法之事？」最后仍然没有听从建言。