První písemný záznam o sídle je datován z roku 1651, kde je zaneseno jako Dospodlu, což nejspíše pochází od despoty Alexije Slava, jenž ovládal tuto oblast ve 13. století. V pozdějších osmanských dokumentech se uvádí jako Dospod. Podle popisu z roku 1850 zde žilo 130 Pomaků ve 40 domech. V roce 1878, po rusko-turecké válce, se Dospat stal součástí Východní Rumelie. Jako pomstu za podporu Pomaků Turkům ho v roce 1895 vypálili bulharští hajduci. Během druhé balkánské války v roce 1913 oblast obsadili Turci, v důsledku čehož zdejší muslimové ustanovili nezávislou vládu Západní Thrákie, která zanikla ještě téhož roku a jejíž území bylo připojeno k Bulharsku. Ves obdržela statut města v roce 1943.