Τα παλαιότερα ίχνη κατοίκησης στην Ερμπίλ χρονολογούνται από το 6000 π.Χ. και είναι μια από τις πόλεις με την πιο μακροχρόνια συνεχή κατοίκηση. Η καρδιά της πόλης είναι η Ακρόπολη της Ερμπίλ. Στην αρχή της 3ης χιλιετία π.Χ., οι Χουρρίτες από την Μικρά Ασία ήταν οι πρώτοι που εγκαταστάθηκαν στο Ούρμπιλουμ και επέκτειναν την κυριαρχία τους στη βόρεια Μεσοποταμία. Η πόλη ήταν στην κυριαρχία των Ασσυρίων από τον 25ο αιώνα π.Χ. μέχρι τον 7ο αιώνα π.Χ., αλλά στο τέλος του 7ου αιώνα π.Χ. έχασε την ανεξαρτησία της και πέρασε από τα χέρια των Βαβυλωνίων, των Μήδων, των Περσών και των Ελλήνων. Η Μάχη των Γαυγαμήλων δόθηκε κοντά στη σημερινή Ερμπίλ (Άρβηλα). Η πόλη στη συνέχεια κατακτήθηκε από τους Άραβες και μετά από τους Σελτζούκους και τους Οθωμανούς Τούρκους.