בצעירותו למד אליעזר בן-יהודה בישיבה ושם הכיר את השפה העברית. בשיחות שקיים עם ידידים בליטא, ארץ הולדתו, נאמר לו כי היהודים אינם עַם משום שאינם דוברים לשון אחת. שיחות אלו סייעו בגיבוש תפיסתו הייחודית, שגרסה כי שני דברים יאחדו את היהודים לעם במלוא מובן המילה: ארץ ישראל והשפה העברית. תפיסה זו באה לידי ביטוי במאמר "שאלה לוהטה" שפרסם ב-1879 בעיתון "השחר". כעבור שלוש שנים כתב בעיתון "חבצלת": "עוד לא הייתה עֵת לישראל מיום צאתו מארצו אשר האחדות הייתה דרושה לו כהיום. דבר גדול וכבד מאוד עלינו לעשות הפעם, אשר לא בכוח איש אחד ואף לא בכוח אלפי אנשים ייעשה, כי אם בכוח כל העם כולו. אך האחדות הזאת לא תהיה לו בלתי אם שפה אחת ידבר, ושפה אחרת מבלעדי שפת אבותיו לא תיתן לו האחדות הזאת".
בסוף המאה התשע-עשרה הייתה השפה העברית שפה כתובה בלבד וחלקים ואישים מהציבור היהודי בארץ-ישראל ובגולה לא חפץ בה כשפת דיבור. אף על פי כן סבר בן-יהודה, כי ניתן לחנך את העם להאמין בשפה ולהשתמש בה. הספק היחיד בלבו נגע ליכולת להחיות את העברית, שלא דוברה במשך שנים רבות, ולהתאימה לתקופתו. הוא חקר ושאל מומחים ללשון אם תהליך החייאה כזה קרה בעבר ונענה בשלילה. בן-יהודה טען שהדבר קשה אך ניתן לביצוע. הוא החליט לבדוק זאת באמצעות ניסיון עצמי והחל לדבר עברית, אולם עד מהרה הבחין כי אוצר-המילים שבפיו מוגבל. הוא פתח בחיפוש אחר מילון עברי עשיר בערכים, אך כל המילונים שמצא לא התאימו לדיבור במאה התשע-עשרה.
בשלב זה החליט בן-יהודה לכתוב ספר אשר יכלול מילים שימושיות בעברית. בתחילה רשם לעצמו את שמות הכלים ממסכת כלים שבמשנה, ולאחר מכן החל לכתוב גם מילים פחות נפוצות בשפה שבהן נתקל. לפני שהכריע בשאלה כיצד לקרוא לספר חלה במחלת השחפת, הפסיק את לימודי הרפואה ועבר לאלג'יר. שם שוחח עם יהודי הקהילה בעברית בלבד ועקב כך השתפרה לשונו. לאחר שהחלים עזב את אלג'יר ועבר לארץ-ישראל.
כוונתו המקורית של בן-יהודה לא הייתה לכתוב מילון כמו אלו שאנו מכירים כיום, אלא לחלק את המילים לפי קבוצות: בערך "אילן" יופיעו שמות העצים השונים, בערך "מטבח" יופיעו שמות כלי-המטבח השונים וכן הלאה. הערך הראשון שכתב במתכונת זו היה "אֶבֶן", אשר פורסם בעיתון "חבצלת". לאחר פרסום הערך הבין בן-יהודה כי כדי להגשים את חזונו, שהעם כולו ידבר בעברית, אין הוא יכול להסתפק ברשימות כמו אלו שכתב עד כה. לכן הוא פנה להגדיר כל מילה ומילה, אך נרתע מגודל העבודה שתידרש לשם כך, והחליט להתמקד במילים הקשות שהיו קיימות מחלוקות לגבי משמעותן.
העבודה על המילון נדחקה הצדה עקב מאמציו של בן-יהודה להחיות את הלשון העברית: הוא פעל רבות לשכנוע משפחות יהודיות לדבר עברית בלבד, ייסד בשנת 1890 את ועד הלשון העברית (שהתפרק לאחר שנה) והמשיך בעריכת עיתונים עבריים אחדים. ב-1894 נאסר על ידי השלטון העות'מאני לאחר שתושבי ירושלים העלילו עליו כי הסית למרד: כשחותנו של בן יהודה, שלמה יונאס, פרסם לקראת חנוכה 1893 מאמר לאומי זהיר בעיתון "הצבי", ובו קרא לחגוג את חנוכה כחג של גבורה יהודית על רקע התעוררות הרעיון הציוני, הוא חתם במילים: "לאסוף חיל ללכת קדימה". החרדים, שפירשו בטעות מילים אלה ככוונה להקים צבא שימרוד בטורקים, הלשינו לשלטון העותמאני על בן יהודה כעורך העיתון. בתגובה נשלח בן יהודה למעצר שלפני משפט בבית מעצר בירושלים העתיקה. לפי ההערכות, בן יהודה ישב במעצר במשך כשבועיים לפני ששוחרר בעזרתו של הברון רוטשילד. עם זאת נאסר עליו להוציא מחדש את עיתונו "הצבי". הזמן שהתפנה אפשר לו להקדיש את כל-כולו לכתיבת המילון.
כתיבת המילון.
כעבור שנה פרסם בן-יהודה מחברת לדוגמה מתוך המילון. במחברת זו נחשפה לראשונה מהות המילון: "ספר שלם, כללי, שיכיל כל מה שיש בתנ"ך ותלמוד ומדרשים והספרות שאחרי התלמוד". מהות זו הייתה שונה ממהותו המקורית של המילון, שנועד בתחילה לבאר מילים שלא פורשו במלואן בעבר. נראה ששינוי זה חל עקב הכרתו של בן-יהודה בעובדה שרק יחידים הכירו את רוב המילים בשפה העברית, ותחושתו שהפתרון היחיד לבעיה זו הוא כתיבת מילון עברי מקיף.
לצורך כתיבת המילון עיין בן-יהודה בין היתר במילון "מחברת מנחם" של מנחם בן-סרוק, במילון המודרני של מרקוס יסטרוב לעברית ולארמית של ספרות חז"ל וכן במילון "ערוך השלם" של חנוך יהודה קוהוט. כמו כן קרא את כל המקורות היהודיים: התנ"ך, המשנה, התוספתא, מדרשי ההלכה, התלמוד הבבלי, התלמוד הירושלמי ומדרשי האגדה. עם גילויה של גניזת קהיר השיג את החלקים שנשתמרו מן הנוסח העברי של ספר בן סירא וקרא גם אותם. הוא השתמש גם במקורות חשובים אחרים, כגון כתובות עתיקות, מטבעות, תפילות, פיוטים, ספרי שו"ת מתקופת הגאונים, ספרות הקראים, ספרות הקבלה וספרי מדע שחוברו עד זמנו. בביתו של בן-יהודה נצברו כחצי מיליון פתקאות שבהן כתב מובאות מן הכתובים.
המילים הכלולות במילון הן מילים עבריות מן הכתובים הנזכרים לעיל. לפעמים הכניס בן-יהודה למילון גם מילים ארמיות, יווניות ולטיניות מהמשנה ומהגמרא שסבר כי יש בהן צורך (כגון המילים "אכסניה" ו"אכסדרה" המופיעות במילון בצורותיהן הארמיות, "אכסניא" ו"אכסדרא"). הוא העיד כי היו פעמים שבהן קרא מאות עמודים מבלי שהכניס אף מילה אחת למילון. ניקוד המילים המשנאיות והתלמודיות נקבע לרוב לפי כתבי-יד מנוקדים שבן-יהודה קיבל גישה אליהם כהבעת אמון בעבודתו. בשלב זה נקבע שמו של המילון: "מילון הלשון העברית הישנה והחדשה".
המילון נועד בראש ובראשונה לסייע בהפיכת השפה העברית לשפה מדוברת, חיה ונפוצה. לכן מלבד המילים שהיו קיימות בעברית הוא כלל חידושי מילים רבים בכוונה להתאים את העברית למאה העשרים. חידושים אלו סומנו במילון בתו מיוחד ונסמכו על לשון המקרא, על לשון חז"ל ואף על שפות זרות. לפעמים שונתה משמעותה של מילה כדי להתאימה לתקופה, כפי שנעשה במילה "אקדח". חלק מן המילים נוצרו במשקל מילים אחרות, כפי שנעשה במילה "גלידה", שחודשה מהמילה הארמית "גליד" (קרח) במשקל "לביבה". במקומות מעטים נשאלה מילה לועזית ושונתה קלות, כפי שנעשה במילה "בּדוּרה" (חידוש שלא התקבל ל"עגבנייה"), שנשאלה מן השפה הערבית ('בנדורה', שמוצאה ב-pommodoro האיטלקית). רבים מחידושיו של בן-יהודה נכנסו לשפה העברית.
המילים במילון הובאו בסדר אלפביתי וגם כאן נבדל המילון ממילונים אחרים. בעבר נהגו רבים מהמילונים להביא את הערכים לפי סדר אלפביתי של השורשים, כלומר המילה "אגרוף" למשל הופיעה תחת השורש ג-ר-ף. סידור זה היה נהוג במשך שנים רבות הן במילונים לועזיים והן במילונים עבריים. בן-יהודה התנגד לשיטה זו משום שידע כי מעטים הם קוראי המילון היודעים מהו שורשה של כל מילה עברית.
עניין פירוש המילים והגדרתן עמד לנגד עיניו של בן-יהודה מראשית גיבוש מהות המילון. הוא שאף להגדיר כל מילה במדויק ולהבדילה ממילים הדומות לה. כך למשל לא הסתפק בהגדרת המילה "מעדר" ככלי לחפירת אדמה, אלא הסביר במה היא שונה מהמילה "אֵת". פעמים רבות נעזר במומחים להגדרת מילים בתחום עיסוקם כדי להבטיח שהמילון יהיה מדויק. עם זאת נתקל במילים קשות שאף פרשני המקרא לא הגיעו לכלל הסכמה בנוגע למשמעותן. במקומות אלו לא כלל במילון את כל הפירושים שנכתבו למילה, אלא כתב את המשמעות שבה השתמשו רוב הכותבים לאחר תקופת חז"ל. אם הייתה הסכמה בנוגע למשמעות מילה כלשהי אך נעשה במילה שימוש במשמעות אחרת בספרות, כתב את שתי המשמעויות זו לצד זו. כמו כן נהג לפרש מילים סתומות לפי משמעות מילים דומות להן בשפות אחרות. האופן שבו כתב את פירושיו נבדל מהאופן שבו נכתבו הפירושים במילונים שלפניו.
בנוסף להגדרת כל מילה, כלל בן-יהודה את תרגומיה לשלוש שפות: אנגלית, גרמנית וצרפתית. את עבודה זו ערך בעיקר עוזרו של בן-יהודה, משה בר-נסים. בכך היה המילון למילון העברי הראשון שהן הגדיר והן תרגם את ערכיו. בן-יהודה הסביר את הצורך בתרגומים בכך שרבים אינם יודעים את השפה העברית על בוריה ולכן יקשה עליהם להבין את הפירושים לבדם. הוא סבר כי הוספת התרגומים תבהיר את משמעויותיהן המדויקות של המילים במילון.
נוסף על כל אלו כלל בן-יהודה במילון גם אטימולוגיות והשוואות לשפות אחרות. בחלק זה של עבודתו נסמך רבות על ספרו של חוקר המקרא הגרמני וילהלם גזניוס, "לקסיקון עברי-ארמי של התנ"ך" ( .Thesaurus philologico-criticus linguae Hebraicae et Chaldaicae V.T). האטימולוגיות וההשוואות הופיעו בהערות לערכים והיו מפורטות ומעמיקות יותר מן המקובל. מבחינה אטימולוגית מילונו של בן-יהודה הוא המקיף ביותר מכל המילונים שנכתבו בעברית עד היום. עם זאת חלק מהאטימולוגיות מיושנות ואף שגויות.
לערך במילון מספר מרכיבים. כל ערך מנוקד ולצדו סימן המציין את מקורו (ראו מקרא משמאל). אם קיימת הערה אטימולוגית לערך מצוין מספרהּ לצד שמו. אחר כך מובאות ההגדרות ובהמשך התרגומים לאנגלית, לגרמנית ולצרפתית. גוף הערך וחלקו העיקרי הוא מובאות ממוינות מתוך המקורות הרבים שהיו לפני בן-יהודה.
כתיבת המילון ארכה זמן רב משום שנעשתה על ידי בן-יהודה לבדו. היו שטענו בתחילת הכתיבה כי ראוי שהמילון ייכתב בידי שורה של מומחים ולא בידי מומחה אחד, אך בן-יהודה דחה את הטענות ואמר כי עבודה עצמית תשמור על אחידות המילון ותשפר את איכותו. עם זאת העבודה הרבה על המילון פגעה במהלך התקין של חייו של בן-יהודה. הוא ישן פחות ופחות ואף שקל להפסיק את הכתיבה. את ההחלטה להמשיך תלה ברעייתו חמדה (אחותה של אשתו המנוחה שלה נישא) ששכנעה אותו להתמיד ודאגה לכל מחסורו.