En muntlig forestilling har plassert den tidligste bosetningen av jøder i Jemen og Den arabiske halvøya til tiden til kong Salomo, det vil si på 900-800-tallet f.Kr. En forklaring er at kong Salomo sendte handelsmenn sjøvegen til Jemen for å lete etter gull og sølv som kunne benyttes for å utsmykke Salomos tempel i Jerusalem. I 1881 skrev den franske visekonsulen tilbake til Frankrike at han hadde lest en bok av den arabiske historikeren Abu-Alfada at jødene i Jemen bosatte seg i området i år 1451 f.Kr. En annen legende plasserer jødiske håndverkere i region på forespørsmål av Makeda, dronningen av Saba (Sheba). Beta Israel, de sorte jødene i naboregionen Etiopia, har en beslektet legende om sin opprinnelse som plasserer dronningen av Saba som gift med kong Salomo. Deler av Jemen, Eritrea og Etiopia ble på denne tiden styrt av kongedømmet Saba, muligens lå hovedstaden i selve Jemen.