Safed on joskus liitetty Josephuksen ensimmäisen juutalaissodan aikana linnoittamaan "Sepph"-nimiseen (Σεπφ) kaupunkiin Galileassa. Safed mainitaan myös Jerusalemilaisessa Talmudissa paikkana, josta annettiin tulimerkkejä uudenkuun ja eri juhlallisuuksien aikana Jerusalemin toisen temppelin kaudella. Talmudin mainintojen jälkeen Safed katoaa pitkäksi aikaa historiankirjoista, kunnes se mainitaan taas ristiretkien yhteydessä nimellä "Saphet" vuonna 1140. Tuolloin sitä kuvailtiin Anjoun kreivi Fulkin rakennuttamana vahvana linnoituksena Akkon ja Genesaretinjärven välillä. Vuonna 1168 se luovutettiin temppeliherroille ja muslimihallitsija Saladin valtasi sen Hattinin taistelun jälkeen vuonna 1188. Aijubidit purkivat linnoituksen vuonna 1220, mutta temppeliherrat jälleenvaltasivat sen ja rakensivat linnan uudelleen vuonna 1240. Vuonna 1266 paikan valtasi puolestaan mamelukkihallitsija Baibars.