Varde er en gammel by, og selv om byens alder er ukjent er den nevnt i skriftlige kilder allerede omkring 1100. Den ble sannsynligvis grunnlagt en gang i tidlig middelalder. Som mange av de eldste byer i Danmark ligger den på et sted gunstig sted for bosetting. Varde har vokst fram i nærheten av Varde Å med gode ankringsforhold, og på et sted hvor den nord-sør-gående ferdselsveien krysset elven. Vadestedet ble etterhvert avløst av en bro hvor byen vokste fram.