Umag er kjent fra Romerriket, og nevnes skriftlig første gang på 600-tallet. Byen lå på ei lita øy atskilt fra fastlandet ved en smal kanal, og i middelalderen ble den forsterket og vokste som en gunstig beliggende handelsby. Fra 700-tallet var den under Bysants, deretter tidvis okkupert av Frankerne.