לבד מהקשרים בין תימן וארץ ישראל בתקופת הבית הראשון והשני, שאותם מגדיר שלמה דב גויטיין "אגדות, מסורות והשערות" בלבד, ידועה לנו קהילה יהודית בתימן החל בתקופת ממלכת חמיר. ממלכה זו, יורשתה של ממלכת סבא, נוסדה במאה הראשונה לפני הספירה, ושלטה על מרבית שטחי תימן בת-ימינו החל במאה השלישית. העדות הארכאולוגית המוקדמת ביותר לקיומה של קהילה יהודית בתימן התגלתה במפנה המאה ה-21. בעיר ט'פאר שבתימן, מרכזה של המלוכה החמירית, נמצאו מספר ממצאים שניתן לזהותם כ"יהודיים". הממצא המרכזי בהקשר זה הוא טבעת אבן שעליה נכתב שם בעליה, "יצחק בר חנינא". עליה מצויר ארון הברית ומעליו שני הכרובים. החוקרים מתארכים ממצא זה לסביבות 200 לספירה. מרבית הממצאים היהודיים מתקופה זו מסביב לעולם מעידים על טמיעה כמעט מוחלטת בתרבויות האזור, ולעומתם מעיד הכתב הארמי והעיטור של כתובת זו על הזיקה הדתית של בעליהם. בנוסף, מתחת למסגד במצודת ט'פאר נמצא גם מבנה קדום שיכול היה לשמש מקווה. ב-1936, בעונת החפירות הראשונה בבית שערים, לא רחוק מחיפה נמצא ממצא קדום נוסף המעיד על יהדות באזור. בין הקברים נמצאו קברים של יהודים מחמיר, המתוארכים למאה ה-3. גם אם לא הובאו הגופות לקבורה ממושבה יהודית בחלק הדרומי של חצי האי ערב, מעידים הקברים על קיומה של התיישבות יהודית בדרום ערב לפחות במאה השלישית, ועל קשרים שהיו להם עם תושבי ארץ ישראל. במאה השלישית הייתה הקהילה כבר גדולה ומשגשגת. עדות נוספת לקיבוץ יהודי בממלכת חמיר נמצא אצל היסטוריון הכנסייה פילוסטורגיוס, אשר מספר על היהודים הרבים שחיו בתימן ועל התנגדותם החזקה של היהודים באזור זה למגמה נוצרית שהובילו קיסרי רומי באמצע המאה ה-4. ב-1970 גילה וצילם לטר ו' מילר כתובת מימי בית שני על כ"ד משמרות הכהנים, במסגד של הכפר בית חאצ'ר (بيت حاضر; כ-15 ק"מ מזרחית לצנעא). הכתובת חרותה על צד אחד של עמוד מרובע. חלק מהשבטים הערבים שישבו באזור הושפעו מיהודים וספגו השפעות מונותיאיסטיות.
ממצא נוסף, שאותו תיאר לוּנדין כממצא "המרשים והברור ביותר" ביחס לקהילה היהודית בשנים אלו בתימן, הוא כתובת דו-לשונית חמירית-עברית מסביבות 400 לספירה, שהקדיש יהודי בעל מעמד בשם יהודה יכפ לבניין בית כנסת, בסיוע מלך חמיר ד'ראאמר אימן. כתובת זו אופיינית לתקופה בימי ממלכת חמיר, החל משנות שלטונו של אביו של ד'ראאמר אימן, מלך-כרב יהאמן, בסוף המאה הרביעית, אז החלה המלוכה והאצולה החמירית להגדיר את אמונתה בכתובות אפיגרפיות במונחים מונותיאיסטים, ואימצה דת מדינה חדשה. כחלק מן השינוי הדתי ננטשו מקדשים פגאניים. היה זה ככל הנראה ניסיון למצוא גורם מאחד לממלכה. אם עד אז רווחו באזור זהויות אליליות כמו "יעוק", למשל, משלב זה כינתה את אלוהיה "הרחמן" ו"בעל השמים והארץ", בדומה לכינויי האל על ידי יהודים ונוצרים. לפיכך ידועה הדת של חמיר בשם "רחמנות". מחלוקת לגבי טיבה של אמונה זו קיימת עד היום. ממצאים ארכאולוגיים העלו פקפוק בזיהוי המוחלט של הדת החמירית עם היהדות. שלמה דב גויטיין, למשל, הגדיר את החמירים "מתייהדים" ולא "מתגיירים", שכן הם רק שילבו אלמנטים יהודיים מונותאיסטיים באמונתם, ולא היו ליהודים לגמרי; עם זאת, מרבית החוקרים מסכימים כי הם ראו בעצמם יהודים. במאה ה-6 עלה לשלטון המלך יוסף ד'ו נואס, מאמין האמונה החמיירית המונותאיסטית. הוא יצר קשרים עם חכמי טבריה ועם ראש הגולה. מאבקי כוח בינלאומיים עם ביזנטיון הנוצרית וגרורותיה, בהן חבש, הובילו ליחסים מתוחים עם תושבי נווה המדבר נג'ראן שמצפון לתימן. דו נואס שלח חכמים יהודים מטבריה אל העיר נג'ראן שבארצו, כדי שיתווכו בינו לבין תושביה הנוצרים. במקור נוצרי מואשמים חכמי טבריה כמי שמגיעים לתימן בכל שנה ושנה ומעוררים מהומות נגד הנוצרים. בשנת 525 נהרג ד'ו נואס בקרב נגד צבא אקסום. החבשים טבחו בחימיארים ומי שחפץ לחיות הוכרח להתנצר, וכך חוסלה ממלכת חמיר. לאחר קרב זה חל מפנה חריף בחיי היהודים, והם הפכו למשועבדים ומושפלים. לאחר מכן, עם כיבוש תימן על ידי הפרסים בשנת 575, נקשרו קשרים בין יהודי תימן לבין יהודי בבל והוטבו חייהם של יהודי תימן.
עם עליית האסלאם.
מועאד' אבן ג'בל, אחד הצחאבה של מוחמד, מייסד דת האסלאם, כבש את תימן ב-628 – מה שלא סיכן את קיומה העקרוני של הקהילה היהודית בה, כיוון שמוחמד עצמו הורה שלא לכפות את דתו על היהודים. עם זאת, כמה מתושבי היהודים של הארץ התאסלמו. מרבית החמירים בעלי אמונת-הייחוד קיבלו עליהם את דת האסלאם, וגם כמה יהודים בעלי השפעה. שלושה מיהודים מומרים אלו, כעב אל-אחבאר , עבדאללה אבן סבא ווהב אבן מנבה , היו לדמויות בעלות חשובות בראשית האסלאם ולמעבירי מסורות יהודיות באסלאם – "אסראיליאת" . בעקבות עדות פאטמה אשתו שסמוך למותו הורה מוחמד שלא תתקיימנה בחצי האי ערב שתי דתות, החלו גירושי יהודים מחצי האי, בין היתר בפקודתו של הח'ליף עומר בן אל-ח'טאב. בין השאר גורשו יהודי נג'ראן שבצפון תימן, אך בדרום חצי האי נותרו קהילות יהודיות. במסורות יהודי תימן מקובל שיהודי מקומות היישוב "לחלח וחבור ונהר גוזן" שבצפון ערב נמלטו אל תימן זמן-מה לאחר עליית האסלאם.
בתימן, תחת שלטון האימאם, חיו היהודים כד'ימי (בני חסות) על פי חוקי השריעה. ב-897 חתם ראשון השליטים הזיידיים של תימן, יחיא אל-האדי אלא אל-חק , על הסכם עם קהילות דרום ערב, שהכיר בזכותן להתקיים בכבוד שלא תחת אפליה והשפלה מלבד תשלום מס חסות (ג'זיה).
מהמאה ה-10 השתמשו יהודי תימן בניקוד הבבלי. שיטת ניקוד זו שימשה את יהודי תימן בלבד עד אמצע המאה ה-20, ומהווה הוכחה ליחסים הקרובים ששררו בין יהודי בבל ליהודי תימן. כמו כן, יהודי תימן החזיקו בגרסתו המתורגמת לערבית של התנ"ך שנכתבה על ידי רבי סעדיה גאון, התפסיר.
שלטון האסלאם והאימפריה הע'ותמנית.
לאחר סיום שלטונם של הפאטמים, גברה קנאותם הדתית של המוסלמים, ובשנת 1165 גזר המלך עבד אל נבי גזירות שמד על היהודים בשם האסלאם. בהשפעת אירועים אלה החל לפעול משיח שקר יהודי בתימן. הרמב"ם שלח ליהודי תימן את "איגרת תימן", שבה דברי עידוד "לעם היהודי אשר בתימן" ותגובה למעשי משיח השקר. בשנת 1174 נכבשה תימן בידי האיובים, והללו, גם בעזרת הרמב"ם, ביטלו את גזירותיהם של קודמם.
בשנת 1545 נכבשה תימן על ידי העות'מאנים, ויהודי תימן סבלו בגלל המתיחות ששררה בין הטורקים לתושבי המקום. בשנת 1618 גזר המושל הטורקי גזירות שמד וגירוש על יהודי דרום תימן.
גירוש מוזע ולאחריו.
לאחר יציאת העות'מאנים מתימן (בשנת 1635), השתפר מצב היהודים לזמן מה. עם זאת, בשנת 1679 גזר המלך אחמד אבן חסן אל מהדי (שלט בשנים: 1676–1681) גזירות קשות על יהודי תימן. בין היתר הוא גירש את כל היהודים אל דרום תימן, לאזור שפלה מלוח וצחיח בשם תהאמה שבמחוז תעז, בו נמצאת העיר מוזע.
המגיפות, המחלות, החום הכבד, ההתמודדות עם חיות טרף ועם סופות חול גבו את מחירם, ורק רבע עד שליש מהגולים נותרו בחיים ושבו מגלות זו לאחר כשנה. פרטים רבים על גלות זו מצאו את רישומם בפיוטים וקינות שכתבו הגולים אשר נותרו בחיים וצאצאיהם. בין המגורשים היה גדול משוררי יהדות תימן, הרב שלום שבזי, אשר נתן ביטוי לסבלות התקופה בשירתו.
ספרים וכתבי יד רבים ויקרי ערך נשרפו או אבדו. לאחר שחזרו לקהילותיהם ניסו היהודים לבסס מחדש את חייהם, וגילו שבתיהם נתפסו על ידי מוסלמים.
בשנת 1872 נכבשה תימן שוב על ידי העות'מאנים. הפיתוח הטכנולוגי - טלגרף, שירות דואר, דרכים - הקל על זרימה של רעיונות, מכתבים, עיתונים וספרים בעברית, בין תימן ושאר חלקי העולם היהודי.
בעריה הגדולות של תימן ישבו היהודים ברבעים נפרדים מוקפים חומה. כשמונים אחוז מהיהודים התגוררו בכאלף ומאתיים כפרים מבודדים. למרות פיזורם הרב של יהודי תימן הם שמרו על דבקותם הדתית. היהודים עסקו בעיקר במלאכה ובמסחר והצטיינו בצורפות ובריקמה.
גזירות.
גזירת היתומים.
גזירה חריפה, ידועה ומפורסמת בתימן, הייתה "גזירת היתומים", לפיה כל ילד או ילדה שהתייתמו וטרם הגיעו לבגרות (ע"פ סימנים פיזיים) ושאינם מוסלמיים חייבים להתאסלם, וזאת מתוך אמונה דתית כי תינוק מטבעו נולד מוסלמי ורק הוריו הם אלו שהפכו אותו ליהודי או נוצרי. היהודים ניסו להבריח ולהחביא יתומים יהודיים, ולרוב גם הצליחו, אף על פי שהדבר גרר גזירות שונות על קהילות יהודיות בתימן, ולמאסר של יהודים רבים שעסקו בהברחת היתומים. אחת הדרכים להתחמק מגזירת ההתאסלמות הייתה לחתן את הילדים בגיל צעיר. במקרה זה, על פי הגזירה המוסלמית הילדים נחשבו בגירים ולא יוכרחו להתאסלם.
גזירת העטרות.
בסביבות שנת ה'ת"ך (1660), גזר שלטון האימאם את גזירת העטרות - איסור על היהודים לחבוש מצנפות על ראשיהם. תחילה אסרו כליל את חבישת המצנפות, והיהודים נאלצו להסתובב בראש מגולה. לאחר בקשות רבות מהאימאם, הותר ליהודים לחבוש כובע קטן על ראשו, שסביבו קשרו חתיכת בד קטנה בשם "מצר". על גזירה זו כתב ר' שלום שבזי בשירו: .
העליות לארץ ישראל.
עליית "אעלה בתמר" תרמ"ב.