I det 8. århundre f.Kr. var dagens slottsområde en øy hvor fønikerne la grunnlaget for byetableringen. På 800-tallet bygget den muslimske emiren av Palermo en sommerresidens på denne tomten, hvor det hadde tidligere hadde ligget en gammel romersk befestning. Etter at Sicilia under ledelse av Roger I ble erobret av normannerne, bygget hans sønn Roger II ut slottet til en kongelig residens. I årene 1132-1140 sørget han videre også for at Cappella Palatina ble bygget som en del av anlegget.