I før-romersk tid var området bebodd av dauniere og lukanere. Romerne kom til stedet i 291 f.kr. og grunnla kolonien Venusia. Da romerriket brøt sammen, fikk Melfi ny betydning, fordi den kom til å ligge på grensen mellom de lombardiske fyrstedømmene og provinsene under Det bysantiske rike. Melfi ble erobret flere ganger, i takt med at maktbalansen i området skiftet, inntil byen i 1043 ble overtatt av normanneren Vilhelm Jernarm. Han var i 1042 utpekt som leder av de normanniske ridderne, og han fikk tittelen greve av Puglia. Dermed ble Melfi utgangspunkt for Hautevillefamiliens erobring av Sør-Italia, som i starten av det 12. århundre førte til dannelsen av Kongedømmet Sicilia.