Dynastiet ble grunnlagt av den kinesiske generalen Li Yuan (en halvgöktürk). På den tiden opplevde Sui-dynastiet en dyp krise, etter at de tunge byrdene som dets kriger mot Korea hadde utløst en rekke opprør i store deler av det nordlige Kina.