Enkelte deler av kanalen oppstod allerede mot slutten av Vår- og høstannalenes tid i staten Wu. Den eldste kunstige vannveien i Kina skal ha vært Hong-Gou-kanalen, som stammer fra 6.-4. årh. f.Kr. I Qin- og Han-tiden tok man fatt på en rekke kanalprosjekter, både av transportmessige grunner og for å bringe vann ut til åkermarkene.