La ville a été occupée par l'Empire portugais (1488-1541). La forteresse construite pour protéger la ville, sous la domination portugaise, est toujours là aujourd'hui. Au cours de la Seconde Guerre mondiale, Safi fut également l'un des sites d'atterrissage pour l'Opération Torch.