כ-150 נפש מיהדות תימן עלו לארץ ישראל בשנים 1882-1881. עלייה זו נקראה עליית אעלה בתמר (פסוק מ; "בתמר" - שיכול אותיות של שנת תרמ"ב, 1882), וקדמה בכמה חודשים לעליית ביל"ו. ליהודי תימן היה חלק חשוב בבניין הארץ. עד שנת 1914 חיו 5,000 מבני תימן בארץ ישראל, כ-8% מכלל יהודי תימן. ביחס לשאר הגלויות, יהדות תימן עלתה בקצב המהיר ביותר לארץ. החל מהעלייה הראשונה הצטרף חלק מבני העדה להתיישבות, ומאוחר יותר גם לארגוני המחתרות. התייר והחוקר הנוצרי לורנס אוליפאנט שתיעד את החיים בארץ ישראל בין השנים 1883-7 כתב עליהם כך: "באחד הימים אחרי הצהריים, פגשתי כמה מהם ליד הכותל המערבי ונתרשמתי ביותר מהבעת פניהם העדינה והרכה. הם מפורסמים כבקיאים בלימודי הדת שלהם וכאדוקים מבלי להיות צבועים, דבר שהוא למעלה ממה שאפשר לומר על יהודי ארץ ישראל בכללם".
עליית יבנאלי תרע"א-תרע"ד.
בשנת 1904 הציע ארתור רופין את יהודי תימן כתחליף לפלאחים המקומיים שעבדו במושבות. רופין מצא שותף ליוזמתו באהרן אייזנברג שהיה מעוניין להפחית את עלות השכר של "אגודת נטעים" שניהל. במכתב ששלח אייזנברג למנחם אוסישקין בשנת 1909 הוא כתב כי בניגוד לאשכנזים - הפועלים התימניים לא יוכלו לעזוב את הארץ. עוד הוא כתב כי כדי לזרז את בואם יש לצאת בתעמולה בעלת אופי דתי-משיחי. את השילוב של אידאולוגיית עבודה ואמונה בבניית הארץ כגאולה, מצא אצל שמואל יבנאלי, איש העלייה השנייה וממנהיגי תנועת הפועלים.
בהתאם לתוכנית זו יצא בשנת 1911 יבנאלי לתימן בשליחות רופין, מחופש לרב. בספרו "מסע לתימן" כתב: "מטעמי זהירות, מפני הממשלה הטורקית, באשר איסור הכניסה לא"י מצדה היה קיים אז באופן חוקי... נקבע שיש לשוות לנסיעה הזאת גוון דתי, וכי עלי לנסוע, כמראית עין, בשליחות מאת הרב אברהם יצחק קוק ביפו להוליך לרבני הקהילות בתימן שורת שאלות בענייני נישואים, גירושין, חיי משפחה, תפלה, בתי-כנסיות, ולקבל מהם תשובות בכתב". עם זאת, שאלותיו של הרב קוק לא היו מאולצות והוא ביקש ללמוד את הלכותיהם ומנהגיהם של יהודי תימן, והן נועדו גם "להרשות גם כן לקהילות התימנים המתקבצים אצלנו להיות מתנהגים על פיהם ונהרא נהרא ופשטיה". יבנאלי ראה את שליחותו כסמל להתרוממות הרוח היהודית ולאחדות הכוחות הציוניים: ההסתדרות הציונית ורופין, אכרי המושבות, תנועת הפועלים ובייחוד "הפועל הצעיר" והעולם הרבני בנציגותו של הרב קוק. הוא שאף לכך שעליית גלות תימן תהיה אות לקיבוץ שאר הגלויות ולגאולה השלמה.
בכרוזים שחילק יבנאלי בדרום תימן נכתב: "יכולים לעלות לא"י רק אנשים שיש להם כסף להוצאות הדרך ושהם בריאים בגופם, למען להתפרנס מיגיע כפיהם; בעבודה קשה בשדה או בכרם דווקא ולא בשום מסחר ואומנות. אין ארץ ישראל נקנית אלא ביסורין. האיש אשר ידבנו לבו לעלות לא"י צריך לקבל עליו את היסורין שהם בהכרח בזמן הראשון מסיבת שינוי המקום ומסיבה שבזמן הראשון אינו בקי בטיב עבודת האדמה עד שיתרגל"; "בני המושבות משתדלים לתת להתימנים העולים לא"י אל המושבות מקומות לדור בהם בזמן הראשון לבואם, כגון בתים, או רפתים, או אוהלים, מרתפים וכיוצא בזה".
הרב אברהם יצחק הכהן קוק הביע במכתבו לאביו שמחה על עליית יהודי תימן: "פה במושבה נוסף ב"ה דבר לטובה, על ידי הד הקול של קיבוץ גלויות לאה"ק שבא לארץ תימן באו רבים מאחב"י היושבים שם... והם אנשים מסתפקים במועט מאד, רובם ככולם בני תורה, כמעט שלא נמצא ביניהם עם הארץ כלל, וכולם חרדים ויראי ה' מאד... ומה טוב שאלה ימלאו את המקום של הפסולת דמסיטרא דערב רב הבאים מרוסיא, שהגרועים שבהם אי אפשר שתהיה להם אחיזה בא"י... והתימנים הללו... מתפללים בכל יום ג' פעמים בציבור בכוונה... ושקדנים בתורה, ביראת שמים תמימה ואין פרץ ומריבות בשכונתם... כן ירבה וכן יפרוץ ויאספו אספת נדחי צאן פזורה".
העולים שהגיעו למושבות שוכנו תחילה ברפתות, מרתפים ומחסנים, ובשלב מאוחר יותר בצריפי עץ בני 8–10 חדרים שבהם שוכנו משפחות בצפיפות. עד שנת 1914 נבנו ביזמת "המשרד הארץ ישראלי" ובמימון הקרן הקיימת שכונות תימנים בכמה מושבות:
כן נבנו 10 בתים בזכרון יעקב.
השכונות הוקמו הרחק מקצה המושבות. שכונת נחליאל לעולי תימן נבנתה בשנת 1911 במרחק של כ-700 מטר מקצה השטח המיושב בחדרה, שכונת שעריים נבנתה במרחק 400 מטר מקצה השטח הבנוי ברחובות ובפתח תקווה הפרידו 500 מטרים בין בתי עולי תימן לבתי האשכנזים. הריחוק הגאוגרפי הקשה עוד יותר על הקשר החברתי ועל יכולתם של העולים להשתמש בשירותים הציבוריים והמסחריים. שכרם של העולים שעבדו כשכירים במושבות היה מועט מאוד. חוסר היכולת לרכישת מזון, שעלותו גדלה במיוחד בתקופת המלחמה, הביאה לרעב ולמגיפות בקרבם. הם התקשו לשלם עבור קופת חולים ולכן רבים מהם לא זכו לטיפול רפואי. לאחר מלחמת העולם הראשונה כתב יבנאלי כי מתוך מאתיים שלושים ושבעה מעולי תימן שישבו ברחובות, מתו מאה ואחד, שבעים ושישה מהם ילדים. לשם השוואה, באותה תקופה ברחובות, מתוך 900 יהודים מאירופה, מתו שבעים וחמישה, אחד עשר מהם ילדים. במושבה פתח תקווה מתו באותה תקופה 40% מאוכלוסיית התימנים, סך הכל 124 מהם, ומתוכם 73 ילדים. בתגובה להוצאות הקבורה, קבע גזבר חברה קדישא כי בעלות זו "היה עדיף לרפאם".
לאחר מלחמת העולם הראשונה.
בשנת 1918 היו יהודי תימן כ-7% מכלל היהודים בארץ ישראל. העליות גברו לאחר מלחמת העולם הראשונה. המצב הכלכלי של מרבית היהודים בתימן לאחר מלחמת העולם השנייה, היה קשה אך המשיכה להתקיים פעילות תרבותית יהודית ענפה.
ב-2 בדצמבר 1947, ימים ספורים לאחר החלטת האו"ם על הקמת מדינה יהודית, נערכו פרעות ביהודי עדן שבהן נרצחו כשמונים יהודים וכמספר הזה נפצעו. ב-17 בפברואר 1948 נרצח בתימן האמאם יחיא שלקח תחת חסותו את היהודים. במהלך מלחמת ירושה על השלטון גברו הפרעות נגד היהודים ועשרות מאנשי ההנהגה היהודית הושמו בכלא בשל עלילה על רצח שתי ילדות מוסלמיות. הם שוחררו כעבור חודשים רבים בתמורה לכופר כבד.
בשנת 1948, טרם הקמת המדינה, היו בארץ 35,000 יהודים תימנים שהיוו כ-40% מכלל בני העדה (מבין עדות ישראל, זהו האחוז הגבוה ביותר). כ-5,000 יהודים נוספים ניסו לעלות לארץ, אך הבריטים עצרו אותם והם נשלחו למחנה "גאולה" בעדן. בתקופה שלפני קום המדינה התנגדו שלטונות תימן לעליית יהודים לארץ ישראל. לאחר הקמת מדינת ישראל שינו את עמדתם והתירו ליהודים לעלות. ההיסטוריון יהודה רצהבי כתב:
לאחר הקמת מדינת ישראל.
תימן נמנתה עם מדינות העימות בסכסוך היהודי-ערבי בארץ ישראל, ומשפרצו בתימן מהומות נגד היהודים, הם החלו להתפנות בהמוניהם. יותר מ-95% מהיהודים בתימן עזבו את מדינתם. תהליך היציאה נמשך כשנה וחצי, אך מרבית העולים יצאו תוך חמישה חודשים בלבד (35,000 עולים מתימן בחודשים יולי–נובמבר 1949). ב"מבצע על כנפי נשרים" (נקרא גם "מרבד הקסמים") עלו לישראל כ-50,000 יהודים. העולים מתימן באו ברכבת אווירית שנוהלה על ידי חברת התעופה אלסקה, חברה אמריקנית שנשכרה על ידי אל-על הישראלית. מבצע נוסף התקיים בין השנים 1952 ל-1954 ובו הועלו אלפי יהודים נוספים. בין השנים 1992 ל-1993 עזבו את תימן למעלה מ-1,000 מבני שארית הקהילה, חלקם לארצות הברית וחלקם לישראל.
התקיימה תופעת חילון אצל חלק מעולי תימן. בשל טענות על מתן חינוך חילוני לילדי העולים הוקמה ועדת פרומקין, שקבעה שאכן נעשו ניסיונות מכוונים של חילון כלפי ילדי העולים, מתוך רצון להאיץ את ההסתגלות וההטמעות של העולים בחברה הישראלית החילונית. בשנת ה'תשי"א כתב הרב שלום רדאעי, קינות המבכות את ההידרדרות הדתית של עולי תימן בארץ לעומת המצב בתימן. אחת מקינות אלו נכתבה במתכונת הקינה אש תוקד בקרבי (ואף אימצה את שורת הפתיחה), וסופי שורותיה "בהיותי בתימנה", "בבואי ציונה".
הגירה בראשית המאה ה-21.
החל משנת 2000 לערך גברו רדיפות היהודים שנותרו בתימן. הרדיפות גברו בשל מבצע עופרת יצוקה שהחל בסוף שנת 2008. אנשים מקרב חסידי סאטמר האנטי-ציוניים פעלו לשכנע את אלו שנותרו בתימן להגר לארצות הברית ולא לישראל, תוך הפחדתם שאלו שיעלו לישראל לא יוכלו לשמור על דתם ומנהגיהם, וילדיהם יעזבו את הדת. בעקבות הרדיפות המשיכו קבוצות לעזוב את תימן, לישראל ולארצות הברית.
בקיץ 2009 עזבו את תימן כמאה יהודים, בעידוד חסידי סאטמר. הם שוכנו בשני רחובות בעיר מונסי שבמדינת ניו יורק שם הייתה כבר קהילה של יהודים יוצאי תימן. אנשי החסידות מסייעים בידם מבחינה כלכלית. בכתבה ב'ידיעות אחרונות' מצוטטים כמה מן הוותיקים שבהם, בעילום שם. לדבריהם, תלותם באנשי סאטמר כמעט מוחלטת, משום שאין ביכולתם לשלוח את ילדיהם לבתי ספר פרטיים יקרים, והם מחויבים לשלוח למוסדות של סאטמר. הם חוששים למתוח ביקורת פומבית כלפי אנשי החסידות, מחשש שילדיהם יוצאו משם וייוותרו ללא מוסד לימודים. ילדיהם אינם לומדים מקצועות חול ואפילו אנגלית. עוד הם אומרים שנאסר עליהם ללמוד נהיגה ובחלק מהמקרים מוחזקים דרכוניהם בידי אנשי החסידות כדי למנוע מהם לעלות לישראל. בנוסף, נטען שם כי החסידים אוספים עבורם סכומים גדולים אולם מעבירים אליהם חלק קטן מהם, בטענה שעליהם לכסות הוצאות.
בשנת 2010 נשארו בתימן כ-150 עד 180 יהודים בערים צנעא וריידה . למעלה מ-80% מהנשארים הם כבני 60 ומעלה.
בליל 21 במרץ 2016 הועלו במבצע חשאי 17 מיהודי תימן לישראל. בשלהי 2017 דווח על קהילה בת 67 נפשות החיה במתחם אחד בבירה צנעא.