Området som byen ligger i ble okkupert av kelterne (4. århundre f. Kr.) og romerne (1. århundre f. Kr.). Det første større forsvarsverket på stedet ble oppført av romerne som bygget fortet Cusum som en del av Limes langs Donau i regionen Pannonia. Cusum ble revet under hunernes invasjon i det 5. århundre. Mot slutten av det 5. århundre hadde bysantinerne bygget byen opp igjen, og kalte den henholdsvis Cusum og Petrikon.