מארי זיהה צורך במחקר שיעסוק בהתפתחות השפה האנגלית ברחבי האיים הבריטיים. הוא למד גאלית, חקר את הניבים הנפוצים בדרום סקוטלנד ואף תכנן מפתח סימנים פונטיים למילון השפה הסקוטית משנת 1808 שחובר על ידי ג'והן ג'יימיסון (John Jamieson). כמו כן למד מארי את שפת התקופה האנגלו-סקסית כפי שהשתמרה בכתביו של המלך אלפרד הגדול. חברי האגודה הארכאולוגית בהאוויק הפקידו בידיו ספרים רבים ששימשו את מארי במחקריו, ובלימודי השפות. כך למשל למד את השפה הגותית מתוך העתק של תרגום הברית החדשה לשפה זו מהמאה הרביעית לספירה ("Codex Argenteus"). מארי היה בבחינת זאב בודד, ללא קשרים עם חוקרים בתחומו . הוא צימח שיער שופע עד כתפיו וזקן עבות אדמוני שהפך ברבות השנים ארוך ולבן והעניק לו את המראה המרשים והמיוחד.
עבודתו ופרסומו בלונדון.
ב-12 באוגוסט 1862 נישא מארי למגי (מרגרט) סקוט (1834–1865) מורה למוזיקה בבית ספר יסודי, בתו של מזכיר הכפר בהאוויק. הזוג נישא בבלפסט, שם התגוררה מגי, ואז שבו לסקוטלנד והתגוררו בהאוויק. בינואר 1864 נולדה לבני הזוג בת בשם אנה, שמתה כעבור זמן קצר באוגוסט אותה שנה. גם מצבה הבריאותי של מגי התדרדר בשל מחלת השחפת ורופא המשפחה יעץ להם להעתיק את מגוריהם למקום בו מזג האוויר נוח יותר.
בני הזוג עברו לדירה שכורה בלונדון ומארי התקבל לעבודה כפקיד ב"בנק המורשה של הודו סין ואוסטרליה". בריאותה של מגי לא השתפרה והיא נפטרה בספטמבר 1865. ב-17 באוגוסט 1867 נישא מארי בשנית לבת שכניו, אדה אגנס רוטוון (Ada Agnes Ruthven 1845–1936). בטקס הנישואין שימש אלכסנדר גרהם בל כשושבין. חיי הנישואים של בני הזוג היו מאושרים, כאשר מארי אדיש ומתעלם מענייני הממון ואדה מתגלה כחיונית ומעשית באופן יוצא דופן. כבר בתקופה זו התמקד מאריי במחקר בלשני, אטימולוגיה ושפות, שהיו לנושא העיקרי בעבודתו. עדות לבקיאותו העמוקה בנושאים אלה ניתן ללמוד מבקשה ששלח למוזיאון הבריטי בניסיונו להתקבל שם למשרה בספרייה. במכתבו הוא מציין כי יש לו היכרות קרובה עם השפות איטלקית, צרפתית, קטלאנית, ספרדית ולטינית ובמידה פחותה יותר גם עם פורטוגזית, וודואה (ניב שווייצרי צרפתי), פרובנסאלית וניבים שונים נוספים. כמו כן יש לו ידיעה ברמה סבירה של השפות הולנדית, גרמנית ודנית. הוא מציין במכתבו כי מחקריו על הלשונות האנגלוסקסיות והמואזו-גותיות (לשון גרמאנית עתיקה של חבל מואסיה בבלקן) הם יסודיים ביותר וכן, שהוא בעל ידע בשפה הקלטית, ועוסק בשפה הסלובנית לאחר שהגיע לרמת ידע מועילה ברוסית. הוא לא שכח להוסיף את ידיעותיו המספקות בעברית, והמעט פחות מספקות בארמית, סורית, קופטית, ופניקית. הוא לא התקבל לעבודה במוזיאון.
מארי נרשם לספריית המוזיאון הבריטי וחידש את התעניינותו בבלשנות השוואתית ובחקר הניבים של אזור הגבול בין אנגליה וסקוטלנד. בלונדון יצר מארי קשרים ענפים בסיועו של אלכסנדר מלוויל בל, והחל להיפגש עם בלשנים וחוקרים יידועי-שם של השפה האנגלית. במהרה נחשף לפעילות אגודת הבלשנות האנגלית וכן לפרסומיה של אגודה נוספת שעסקה בחקר האנגלית העתיקה. בין השנים 1868–1869 הוזמן מארי שלוש פעמים להציג מאמרים פרי מחקריו באסיפות אגודת הבלשנות. כאשר הושלם ספרו על ניבי האנגלית בשנת 1873, הוא הוצא לאור ביוזמת אגודת הבלשנות. פרסום הספר הקנה למארי מוניטין רב בקרב חוגי מלומדים רחבים, והוא אף הוזמן לכתוב חיבור על תולדות השפה האנגלית למהדורה התשיעית של ה"אנציקלופדיה בריטניקה". בין יתר הבלשנים אליהם התוודע היה המלומד הנמרץ והמפוקפק, פרדריק פורניוואל (Frederick J. Furnivall), מתמטיקאי ובלשן, שייסד ללא הרף אגודות וארגונים למטרות קידום והפצת לימוד השפה והספרות האנגלית. הדעות על אופיו של פורניוואל היו שנויות במחלוקת ורבים ראו בו בליין שערורייתי ורודף שמלות. בין השנים 1871–1875 ערך מארי מספר מאמרים פרי עטו של פורניוואל והוכיח באמצעותם את נחישותו וכישוריו לעבודת עריכה קפדנית.
בשנת 1870 עזב מארי את משרתו בבנק והתמנה למנהל בית הספר היסודי מיל-היל בכפר הנושא שם זה שמצפון מזרח ללונדון. במסגרת המשרה החדשה הוא עבר לבית עם גינה במרחק כחמש דקות הליכה מבית הספר. שנותיו בבית זה תוארו על ידו כשמאושרות ביותר בחייו. הוא ייסד במקום אגודה לטבע, ועודד את תלמידיו לצאת לחקור את החי והצומח בסביבתם. מארי ניחן בכישרון נדיר להוראה שהעניק לתלמידיו שיעורים מרתקים ומבדרים. בשיעורי הגרמנית נהג להמציא חריזה משעשעת על מנת להדגים הטיות שמות עצם בשפה. נכדתו אליזבת (Elisabeth Murray) העידה כי בשנים 1870–1875 עסק מארי במקביל להוראה גם בעריכה מדעית לעבודותיהם של כמה וכמה בלשנים, כתב מאמרים לאגודת הבלשנות, שקד על טקסטים עבור האגודה לאנגלית עתיקה, וערך ספרים עבור הוצאות שונות. בנוסף לפעילותו הבלשנית הענפה, למד מארי לתואר ראשון במסגרת לימודי החוץ של אוניברסיטת לונדון. הוא השלים תואר BA בשנת 1873 ובשנת 1874 הוענק לו תואר דוקטור כבוד למשפט ( LLD) מטעם אוניברסיטת אדינבורו. עתה יכול היה להתהדר באופן רשמי בגלימה ובמגבעת הטקסיים של בוגרי המוסדות האקדמאים. מאז, ובמשך כל שנות עבודתו הבאות, חבש מארי את המגבעת הטקסית יום יום בצאתו לעבודה. מעמדו הרם בתחום הבלשנות האנגלית הושג למרות מסלול לימודיו המקוצר באקדמיה הפורמלית. בשנת 1878 התמנה מארי לנשיא אגודת הבלשנות.
בין השנים 1868–1888 נולדו לבני הזוג מארי 11 ילדים שגדלו וחונכו כולם באווירה אינטלקטואלית. בשמות כל ילדיו שולב שם הנעורים של אמם – רוטוון. חינוכם כלל הימנעות מקריאת רומנים ספרותיים אך הם עודדו לכתוב סיפורים ושירים בעצמם. מארי התעקש שילדיו יעסקו בתחביבים ותחומי עניין כפי שהוא חווה בילדותו כגון היסטוריה, בוטניקה, ארכאולוגיה וכדומה. בנו הבכור הרולד גיימס רוטוון הפך להיסטוריון חשוב בתחום השח, ובנו וילפריד ג'ורג רוטוון (Wilfrid George Ruthven) כתב זכרונות אודות אביו.
המילון האנגלי החדש.
בשנת 1857 החליטה אגודת הבלשנות להתחיל בעבודה על מילון אנגלי חדש שיכלול את כל המילים הידועות באנגלית על שימושיהן השונים. המילון אמור היה לאסוף מילים שהיו בשימוש עוד טרם הכיבוש הנורמני ואת כל המילים באנגלית מאז הכיבוש. הצורך במילון חדש נבע מהתיישנותם של המילונים העיקריים שהיו אז בשימוש – המילונים של צ'ארלס ריצ'רדסון (Charles Richardson), נוח וובסטר (Noah Webster) וג'וזף ווסטר (Joseph Worcester). היו אלה מילונים נכבדים ואמינים אך המילון החדש נועד להתבסס על עקרונות מחקר היסטורי. הכוונה הייתה שכל הגדרה של מילה במילון החדש תלווה במובאות שידגימו את התפתחות המובנים והשימושים השונים במילה בתקופות שונות. המובאות יאספו ממקורות ספרותיים מוכרים (שייקספיר, צ'וסר, דיקנס, וכדומה), מכל התקופות, אך גם ממקורות ספרותיים פחות נחשבים וכן ממגוון מקורות נוספים כגון מכתבים, עיתונים, ספרות טכנית, קטלוגים, מילונים ועוד.
הרברט קולרידג' (Herbert Coleridge) מונה לעורך המילון החדש, וכצעד ראשון בנה תוכנית לאיסוף המובאות הדרושות לכל מילה ומילה. הוא גייס מאות מתנדבים שיעסקו בקריאת מקורות ובציטוט משפטים הממחישים שימוש במילים שונות בשפה האנגלית. אחד המתנדבים הפוריים והדייקנים ביותר היה דר' ויליאם צ'סטר מינור ששלח במשך עשרות שנים אלפי ציטוטים באיכות גבוהה למערכת המילון. לימים התברר שדר' מינור, רופא אמריקאי, נשפט וכלוא במאסר עולם, במוסד לחולי נפש באנגליה, לאחר שירה למוות בשנת 1871 תוך התקף של טירוף בפועל שהיה בדרך לעבודה במבשלת שיכר בלונדון. למרות היענות הציבור העבודה על המילון החדש התקדמה באיטיות ובשנת 1860 נאספו רק כעשירית מהמובאות הנדרשות. בשנת 1861 נפטר העורך קולרידג', ופרדריק פורניוואל מונה תחתיו. פורניוואל נכשל במשימה לקדם את המילון החדש, ובמשך שנים המיזם היה תקוע ללא התקדמות ממשית.