Zemun området har blitt bebodd helt siden neolittisk tid. De første keltiske bosetningene i dukket opp i det 3. århundret f.kr. Taurunum, som i dag er Zemun ble del av den romerske provinsen Pannonia omkring år 15. Etter folkevandringstiden var området under styre av forskjellige stammer og stater. Frankerne nevnte det som Mallevila, et toponym fra det 9. århundret.