Området rundt Termez har vært bebodd siden oldtiden, og byen ble bosatt i den gresk-baktriske perioden fra det 2. århundre f.Kr. til det 1. århundre f.Kr.. Byen var et sentrum for buddhismen under kushanerne (fra 1. århundre f.Kr. til 0-årene). Da araberne kom på 600- og 700-tallet ble byen i stedet et sentrum for islam.