בפריז התפרנס בדוחק בתרגומים מצרפתית לרוסית. במהלך שהייתו שם חלה בשחפת. עקב המחלה, החליט להפסיק את לימודיו לטובת עבודה בארץ ישראל החמה, ופנה לקרל נטר, מנהל בית הספר החקלאי מקוה ישראל, בבקשה שייתן לו עבודה בבית הספר. נטר הציע לו ללמוד ב"בית המדרש המזרחי" למורים של כל ישראל חברים בפריז וכשיסיים את לימודיו יתמנה למורה ב"מקוה ישראל". בפברואר 1880 החל ללמוד בבית המדרש צרפתית וידיעת הארץ, אולם מחלתו החמירה והוא אושפז בבית החולים "רוטשילד" בפריז בין 19 בפברואר עד 18 במרץ 1880. מאוחר יותר בשנה זו נשלח במצוות הרופאים לאלג'יר החמה, שנודעה בבתי ההחלמה שלה לחולי שחפת, ובה בילה את חורף 1880–1881. בין מרץ למאי 1881, שב לפריז. במרסיי כתב לשלמה יונאס ולבתו דבורה והודיע להם על רצונו להתיישב בארץ ישראל, והציע לדבורה להינשא לו. בקיץ 1881 הגיע לווינה, שם נפגש עם דבורה ונסע איתה דרך רומניה וקושטא לקהיר, שם התחתנו. באוקטובר 1881 ירדו בחוף יפו.
פעילות ציבורית.
עם עלייתו ארצה, התיישב בן־יהודה בירושלים ושכר למגוריו שני חדרים דלים מעל שוק עושי הכותנה, בעיר העתיקה. בתחילה עבד אצל ישראל דב פרומקין בעיתונו העברי "חבצלת", וגם שם חתם בכינוי "בן-יהודה". הוא ניסה להחיות את הלשון העברית כשפת דיבור, לאחר שבמשך דורות הייתה שמורה בכתב ושימשה בעיקר לתפילה וללימוד תורה (אם כי חלק גדול מהספרות התורנית נכתבה דווקא בעברית), אך לא בשפת היום יום.
בן-יהודה פעל להפיכת השפה העברית לשפת היומיום בארץ ישראל. "דבר עברית והִברֵאתָ", אמר למכר שהתלונן באוזניו על מחלתו. בנו בן-ציון (ששינה את שמו לאיתמר בן-אב"י) נולד בט"ו באב תרמ"ב (31 ביולי 1882), והיה "הילד העברי הראשון" – משום שבביתו שמע את הלשון העברית משמשת בשפת היום יום, עד שהייתה לו לשפת אם. בנוסף, כתב ספרי לימוד בעברית והוביל את תוכנית "עברית בעברית", לצידו של דוד יודילוביץ' ומורים אחרים, בבית ספר חביב (בית ספר בראשון לציון, הראשון שבו כל המקצועות נלמדו בעברית).
בתשרי תרמ"ד 1883 נערך בעיר העתיקה בירושלים מפקד אוכלוסין, בו נרשם בן-יהודה בשמו זה כנתין עות'מאני וכתושב ירושלים. את נתינותו הרוסית המיר ככל הנראה סמוך למועד זה. בזיכרונותיו כתב: "ברגע ההוא חשתי בזה מאורע גדול בחיי. הרגש הרגשתי כאילו נולדתי מחדש. ניתק כליל החיבור ביני ובין הגלות. אני עתה על פי דין המלכות אזרח ארץ אבותי".
בשנת 1884 ייסד בן־יהודה את העיתונים "מבשרת ציון" ו"הצבי" שאותם הוא גם ערך, בקנאותו ללשון עברית.
בן-יהודה עורר את חמת אנשי היישוב האשכנזי הישן. הוא פרסם מאמרים רבים נגד הנהגתם, בהם תקף את שמרנותם הדתית והציג את החיים מכספי החלוקה כשחיתות. עם זאת, בן-יהודה לא ראה את היישוב הישן כמקשה אחת. במסה קצרה שכתב העלה הגיגים בדבר ההבדלים בין אנשי הגליל לבין אנשי יהודה לאורך ההיסטוריה היהודית. לסיום, עמד על ההבדלים גם בימיו: "אם נדמה את בני צפת לבני ירושלים, נמצא כמדומה איזה רמז על ההבדל [...] כמה בדוים גמורים תמצא בבני צפת, ובבני ירושלים – אין אף אחד! בני צפת הרבה יצר, כמדומה, קרובים להטבע מבני ירושלים" בן־יהודה היה מודע להתערות במרחב, שאפיינה את אנשי הגליל באופן מיוחד, שבאה לידי ביטוי גם בשפה. אנשי הגליל, כולל האשכנזים, סיגלו לעצמם זה מכבר שפת דיבור שמתחברת למסורת המקומיות; מסורת הגייה של עברית, מה שנודע לימים כ'ניב הגלילי', שהושפעה מן הערבית, שפה שרבים מן האשכנזים בצפת שלטו בה. אפילו היידיש שבפיהם הייתה רוויה במילים בערבית, עד כי במחקר היא כונתה 'יידיש פלשתינאית'. בהשוואה לירושלים, הייתה הערבית הרבה יותר שגורה בקרב יהודי צפת, גם בקרב האשכנזים, וגם בקרב הספרדים. מה גם שבראש הקהילה האשכנזית בצפת עמד והנהיג הרב שמואל הלר, בעל ההשקפה האולטרה-אורתודוקסית ארץ-ישראלית, ברוח רעיונותיו של הרב עקיבה יוסף שלזינגר. זרם זה חתר להפיכת העברית לשפה השלטת, ולא רק כשפת הכתיבה, כך שכל מערכות החיים יתנהלו באמצעותה, במסגרת של"ם – שם, לשון, מלבוש.
לכן, עיקר מאבקיו של בן־יהודה היו בירושלים. בי"ד בחשון תרמ"ט, במאמר בשם "תשובה קצרה", הצהיר בן־יהודה ב"הצבי" על כוונתו "להרוס [...] את חיי החלוקה הנתעבה, את החיים על נדבות את הצרעת המנוולת את קהל ישראל". אנשי היישוב האשכנזי הישן הכריזו מספר חרמות על בן-יהודה, והתנכלו לו ולמשפחתו בצורות שונות. לעומת זאת, ניהל יחסים טובים עם רבים מבני הדור הצעיר של היישוב הספרדי הוותיק, ואלה שיתפו איתו פעולה ברבים ממיזמיו. ביניהם היה מזכירו ועוזרו משה בר-נסים. ב-1886 הטילו רבני ירושלים חרם על בן־יהודה, עקב יציאתו נגד העדה הספרדית, על שהשתמשה בשירותי הרפואה של המיסיון ואף העסיקה יהודי מומר כמזכיר העדה. חרם נוסף מקורו היה בפולמוס סביב שנת השמיטה, שבן-יהודה תמך בביטולה במושבות.
בשנת 1890 נוסד "ועד הלשון העברית" ביוזמת בן-יהודה יחד עם דוד ילין, ובן-יהודה עמד בראשו.
בתחילת 1891 הגיעה לארץ ישראל ציפורה, אמו של בן-יהודה. באותם ימים חל איסור על כניסת יהודים לארץ ובן־יהודה פנה ישירות אל הפחה של ירושלים, אבראהים פאשא, כדי שיתיר את ירידתה אל החוף בנמל יפו, אך הפחה סירב. בעקבות זאת, נאלץ בן־יהודה לשלם שוחד לפקידי הנמל, ולאחר כ־16 שנות פרידה נפגש שוב עם אימו, והביאה להתגורר עם משפחתו בביתו בירושלים.
בספטמבר 1891 נפטרה אשתו דבורה ממחלת השחפת, והשאירה אחריה חמישה ילדים קטנים: שני בנים – בן ציון (איתמר בן־אב"י) ואביחיל, ושלוש בנות – ימימה, עטרה ושלומית. אביחיל, עטרה ושלומית נפטרו בילדותם. במהלך תקופה קצרה של מספר חודשים הם מתו בזה אחר זה ממחלת דיפתריה. אחותה הצעירה של דבורה, חמדה (ביילה בל פאולה לשעבר), שהייתה עיתונאית וסופרת בזכות עצמה, הציעה את עזרתה בגידול ילדיו הקטנים, ובשנת 1892 נישאה לבן־יהודה, והוא זכה ממנה לסיוע גדול בפועלו. מתוך מכתבי האהבה שכתב לה מתברר כי בן־יהודה תכנן את נישואיו לחמדה עוד כשהייתה נערה בת 12, לאחר שאשתו נפלה למשכב.
מאסרו.
בי"ג באלול תרנ"ג, במאמר המערכת של "הצבי", פרסם בן־יהודה שמועה על כך ש"נכבדים מבין החסידים" שולחים את בניהם ללמוד אנגלית בבית ספר ערב של המיסיון, ואף איים כי אם לא יחדלו מכך, יפרסם את שמותיהם. לקראת חג החנוכה של שנת תרנ"ד, פרסם חותנו של בן-יהודה, שלמה-נפתלי יונאס, מאמר ב"הצבי" בשם "מצוֹת צריכות כונה", שבו קרא ליהודים לראות בחנוכה לא רק חג של הדלקת נרות, אלא זכר לגבורתו של יהודה המכבי, שהוביל את העם בתקופה קשה וניצח את היוונים ואף הביע תקווה שיקום גם בדורו "יהודה המכבי" משלו. המאמר לא היה רחוק מהשקפתו של בן-יהודה עצמו, ומאמרים בסגנון לאומי כזה התפרסמו בעיתוניו גם לפני כן.
בעקבות המאמר, נלקח בן-יהודה ב־28 בנובמבר 1893 לחקירה שארכה כשש שעות, שבסופה הוחלט להעמידו לדין על הסתה למרד, ועד משפטו נשלח למעצר בכלא "חבס אל־דם". ביום החמישי למעצר הוא הובא לחקירה בבית המשפט ולאחר מכן הועבר לחדר גדול בבית הסראייה. כעבור מספר ימים הועבר לחדר מיוחד שחוטא עבורו, ממנו ניהל את מאבקו לשחרור בעזרת אשתו וידידיו.
ישנו ויכוח על סיבת המאסר. נטען שכמה מאנשי היישוב הישן, שאותם בן־יהודה הרבה לתקוף בעיתוניו, החליטו להשתמש במאמר נגדו – הרבנים שמואל סלנט ויוסף ריבלין השיגו את הסכמתם של כמה מרבני ירושלים, וניסחו מכתב לשלטון העות'מאני, שבו הציגו את המאמר כקריאה למרד, ואף הפיצו שמועה על המרד הקרב בקרב ערביי ירושלים. מנגד, רבים מאנשי היישוב הישן באותה תקופה בירושלים, טענו שהצנזורה עצמה שמה לב למאמר, ואילו הרבנים והממונים רק פעלו להסרת הסכנה מעל היישוב ולהצלת בן־יהודה עצמו.
ב־5 בדצמבר 1893 עמד בן־יהודה למשפט, שבו הכחיש את ההאשמה נגדו והצהיר על נאמנותו לסולטאן ולאימפריה העותמאנית. הוא טען כי מדובר בעלילה שהעלילו עליו מתנגדיו בשל הביקורת בעיתונו על אורח חייהם וחששם מפגיעה בכספי החלוקה. נשיא בית המשפט הרשיע את בן־יהודה ויונאס בקשירת קשר ולו משום שהמאמר עורר סערת רוחות, והטיל עליהם את העונש המינימלי על פי החוק, שנת מאסר אחת. בנוסף לכך הורה על סגירת העיתון.
בן־יהודה שוחרר בערבות עד לערעורו. בעקבות הרשעתו, ביקשו עסקני העדה החרדית את הסכמת החכם באשי באיסטנבול משה הלוי, להחרמת בן־יהודה ויונאס. הלוי שלח את הסכמתו וב־12 בדצמבר 1893 הכריזו עליהם בתי הדין של האשכנזים והספרדים חרם בבית הכנסת רבן יוחנן בן זכאי. כעבור מספר ימים פג תוקפו של החרם, בפגישה בין בן־יהודה לרב הראשון לציון יעקב שאול אלישר. בציבור הלאומי, לעומת זאת, התקבלה הרשעתו של בן־יהודה בזעם, בארץ ישראל וגם מחוץ לה. הוא נחשב ל"אסיר מדיני" וככזה, זכה גם לתמיכה מצד יריביו ולתמיכה כספית מצד ארגונים יהודיים בעולם. ב־2 במרץ 1894 נידון הערעור של בן־יהודה בביירות וב־7 במרץ הוא זוכה יחד עם יונאס מכל אשמה. עונשיהם בוטלו ובוטלה גם סגירת העיתון. אולם מושל ירושלים לא התיר את חידוש הופעתו של "הצבי", אלא רק כעבור 14 חודשים. עקב האיסור על הוצאת העיתון, נפלה משפחת בן־יהודה למשבר כלכלי וזכתה בשל כך לסיוע כספי מגופים שונים. לאחר שהמושל נענה לשתדלנויות הרבות, חידש "הצבי" את הופעתו ב־11 בינואר 1895.
המאה ה־20.
עוינות לא מעטה כלפי בן־יהודה וחידושיו הפגינו גם אחדים מראשי הציונות, בעיקר מצד "אסכולת אודסה" בראשות חיים נחמן ביאליק, אחד העם, יהושע חנא רבניצקי ועוד. מנדלי מוכר ספרים כתב כי הוא מסתייג מ"בית החרושת למילים", וכי עבריותו של בן-יהודה "מלאכותית עד לאין שיעור".