מושבת המיסיונרים הצרפתית הראשונה באמריקה הוקמה על אי הר המדבר ב-1613. המושבה נהרסה זמן קצר אחר-כך על יד ספינת קרב שנשלחה ממושבת וירג'יניה כפעולת מלחמה גלויה ראשונה במאבק הממושך שהוביל למלחמת הצרפתים והאינדיאנים. לואי הארבעה עשר, מלך צרפת העניק את האי לאנטואן דה לה מוט קאדילק ב-1688, אבל ב-1713 נאלץ להעביר את הבעלות עליו לאנגליה. מושל מסצ'וסטס פרנסיס ברנרד (Francis Bernard) השתלט על האי ב-1760. ב-1780 העניקה מסצ'וסטס את המחצית המזרחית של האי לנכדתו של קדילאק, מאדאם דה גרגואר (Mme. de Gregoire), בעוד שג'ון, בנו של ברנרד, המשיך לשלוט על המחצית המערבית. התיעוד הראשוני של תיירים המגיעים לנפוש בקיץ באי הוא מ-1855, ושירות של ספינות קיטור מבוסטון נחנך ב-1868. ב-1888 נבנתה Green Mountain Cog Railway, מסילת ברזל נופית המסתייעת בגלגלי שיניים שמסלולה הוביל מהחוף של אגם איגל ועד לפסגת הר קדילאק. ב-1901 אישר בית המחוקקים של מדינת מיין למחוז הנקוק לרכוש שטחים באי לתועלת הציבור. השטח הראשון נתרם על ידי הגברת אלייזה הומנס (Eliza Homans) מבוסטון ב-1908 ו-20 קילומטרים רבועים נרכשו ב-1914.