בתחילה היו הווילות מבוצרות ומעוצבות כמו טירות קודרות מימי הביניים, ואז בהדרגה הן עוצבו מחדש כמקומות נעימים, שם היו ההומניסטים של טוסקנה יכולים ליישם חיי שלווה אינטלקטואלית וחיים בריאים בחיק הטבע, באמצעות גילוי מחדש של היצירות קלאסיות של סנקה, וארו, מרטיאליס, קאטו וורגיליוס. רעיונות אלה הופצו בייחוד על ידי לאונה בטיסטה אלברטי באמצע המאה החמש עשרה בחיבורו "על הבנייה" (De re aedificatoria), ובמסה ה"ווילה", שדנה במבנה וילות כפריות.
הווילה בקרג'י שופצה אז בתקופת מעבר, המחצית הראשונה של המאה החמש עשרה, מהטיפוס הכפרי והמבוצר לסוג המפואר ששימש לנופש, והפתוח לחיק הטבע ולגנים. גם האדריכלות שלה מדגימה את המעבר באמצעות אלמנטים השייכים לשני הסוגים כאחד.
על פי חוזה הרכישה כללה אחוזת קרג'י בעת הרכישה בניין עם חצר, לוג'יה, באר, מרתף, אורווה, מגדל, גן ירק ושני בתים. מצב הבניינים היה כנראה טוב מאוד, מכיוון שבתחילה לא בוצעו שינויים בווילה.
קוזימו "הזקן" ומיקלוצו.
רק לאחר מותו של ג'ובאני (1429), הכינו בניו, קוזימו דה מדיצ'י (המכונה "הזקן") ולורנצו, כמה שינויים בווילה והפקידו את המשימה בידיו של האדריכל המועדף עליהם, מיקלוצו. שינויים אלו בווילה בוצעו זמן רב לפני שהחלו העבודות במשכן העירוני של המשפחה, פאלאצו מדיצ'י-ריקארדי ב-1444. אין בידינו שום תיאור של העבודות שבוצעו בווילה, אך עדיין יש בידינו רישום של ההוצאה, ולפי הערכת הסכום שהוקצה לשינויים הם היו משמעותיים.
נראה כי העבודות הושלמו בשנת 1427, על פי מכתב של מקונטסינה דה ברדי, אשתו של קוזימו, שבו כתבה שהווילה הושלמה. בכל מקרה, הווילה הייתה מוכנה בזמן ביקורו של פרנצ'סקו ספורצה בפירנצה בשנת 1459 ששיבח את מיקומה ויופייה של הווילה. ממה שלמד מהיצירות הרומאיות הקלאסיות, חשב קוזימו דה מדיצ'י שלמקומות הכפריים צריך להיות גם ייעוד תרבותי, אתרים שבהם לימודים והשערות פילוסופיות יכולים להתקיים בנוחיות הנינוחה של הכפר. למעשה, הוא העביר לשם את הספרייה שלו וחלק מאוסף החפצים ויצירות האמנות. בשנת 1459 הקים קוזימו בווילה את האקדמיה האפלטונית, בית הספר הפילוסופי החשוב ביותר להומניזם האיטלקי, בו השתתפו כריסטופורו לנדינו, מרסיליו פיצ'ינו וג'ובאני פיקו דלה מירנדולה. לא במקרה נתן קוזימו לפיצ'ינו בית סמוך לווילה, המכונה וילה לה פונטנלה, כדי שיהיה קרוב תמיד למשפחתו, שם תרגם פיצ'ינו את קורפוס הרמטיקום, והניח את היסודות לאקדמיה.
מחקרים שנעשו על המערך של המבנה והיסודות הראו שמיקלוצו פעל לשנות רק באופן מזערי את תוכנית הבניין המקורית. העבודות התרכזו אפוא בחדרים הפנימיים, החל מהחצר, וכלה בהגבהת המבנה. המרפסת המעוטרת על זיזים, שנוצרה לאורך הקירות החיצוניים, היא מורשת של סגנון מימי הביניים (היא קיימת למשל גם בווילה דל טרביו), אך כתוספת למתווה הגדול יותר של הווילה היא נראית יותר כמו קישוט מאשר אלמנט שנוצר לצרכים הגנתיים. בסופו של דבר המראה של הווילה הוא יותר כשל ארמון מאשר מבנה מבוצר, הדבר בולט במיוחד בהשוואה לווילות הישנות יותר של טרביו וקפאג'ולו. הווילה שמרה על צריח עם שינות, המתואר ברישומים ובהדפסים של הווילה שנוצרו עד המאה השבע-עשרה. לזכותו של מיקלוצו גם שני האגפים הרוחביים המשתרעים מערבה לכיוון הגן, הנמוכים מהגוף המרכזי ואשר מאופיינים בקומת הקרקע בשתי לוג'יות פתוחות עם שלוש קשתות כל אחת, וכותרות עמודים מורכבות הדומות לאלה של החצר.
לורנצו "המפואר".
לורנצו דה מדיצ'י (המכונה "המפואר), שנולד ומת בווילה (1448–1492), ירש את הווילה מסבו לאחר התקופה הקצרה של שלטונו של אביו פיירו. לורנצו בחר את קרג'י כמקום מגוריו האהוב, וכאן הוא איחד את חוג המלומדים של האקדמיה האפלטונית, וארגן בכך בווילה את המרכז התרבותי והאמנותי של תקופת הרנסאנס המוקדמת. בין המשתתפים באקדמיה היו גדולי ההומניסטים באותה תקופה: מרסיליו פיצ'ינו, אניולו פוליציאנו וג'ובאני פיקו דלה מירנדולה. הלוג'יה הפנורמית בקומה הראשונה, המיוחסת לג'וליאנו דה סנגאלו, מתוארכת לתקופה זו. מבנה זה, שלא תואם את שאר הבניין, יכול להיות מתוארך לתקופה האחרונה בחייו של לורנצו המפואר, או אולי לעשור השני של המאה השש-עשרה.
המאה ה-16.
עם מותו של לורנצו וההגליה של משפחת מדיצ'י מפירנצה בשנת 1498, הווילה לא הוחרמה כמו נכסים אחרים של המשפחה, אלא עברה בירושה בין בני המשפחה וחוותה כמה עליות ומורדות, כולל הצתה בזדון הרת אסון בשנת 1529, במהלך השלב האחרון בחיי הרפובליקה של פירנצה. עם חזרתם של בני משפחת מדיצ'י לעיר ירש הדוכס אלסנדרו את הווילה וביצע בה את השיפוצים הדרושים. גרם המדרגות הקצר המוביל לקומה הראשונה, ואולי הלוג'יה בקומה הראשונה הם מתקופה זו. ג'ורג'ו וזארי מספק מעט מידע על הדקורציה של הווילה שאינו ברור מאוד ואינו נתמך על ידי מקורות אחרים. הצייר פונטורמו (כינויו של יאקפו קארוצ'י), בסיועו של הצייר יאקון (כינויו של יאקופו די ג'ובאני די פרנצ'סקו) צייר את תקרת הלוג'יה בתקופה זו, אך בגלל הטכניקה הלא נכונה (יבשה במקום "רטובה") הציורים הדרדרו במהירות.
קוזימו הראשון דה מדיצ'י, הדוכס הגדול של טוסקנה לא אהב את קרג'י, והעדיף מגורים אחרים, יותר מכל את וילה דל טרביו, ומשנת 1569 הוא העביר אותה לבנו הצעיר פייטרו דה מדיצ'י, שידוע בהיסטוריה בכך שחנק את אשתו בווילה מדיצ'י בקפאג'ולו, לאחר שנתגלה כי ניהלה פרשיית אהבים.
המאה ה-17.
הלידה מחדש של הווילה התרחשה כאשר הנסיך קרלו דה מדיצ'י קיבל אותה לבעלותו (1609). לאחר מינויו לקרדינל בשנת 1615, הוא מימן פרויקט שיפוץ נרחב של הווילה והגן. בין העבודות שעדיין ניתן להתפעל מהם מתקופה זו ניתן למצוא את אולם הפרסקו בקומת הקרקע, קישוט הלוג'יה בקומה הראשונה, המערה המלאכותית במרתף (ה"גרוטיצ'ינה") וחדר העבודה של מדיצ'י. הצריח מהמאה ה-14 נעלם לטובת שימוש מודרני יותר בחלל.
גם הגן אורגן מחדש על ידי האדריכלים המפורסמים של גני בובולי, ג'וליו פאריג'י ובנו אלפונסו, במיוחד בצד הדרומי עם שביל המסומן על ידי חלוקי נחל צבעוניים עם שני פסלי גמדים שנמצאים שם עד היום.
המאה ה-18.
עם קיצה של משפחת מדיצ'י, החלה משפחת לורן בארגון מחדש של כל הנכסים הכפריים שקיבלה בירושה, תוך התנתקות ומכירה של אלו שנחשבו משניים או מיושנים, וקיבצה את הריהוט והקישוטים החשובים ביותר. בהתחשב במצב השימור הרעוע של הבניינים בווילה בקרג'י, החליט לאופולד השני, קיסר האימפריה הרומית הקדושה למכור הכול לווינצ'נצו אורסי בשנת 1780. אולם זמן קצר אחר כך, באותו זמן עם הגעתם של המטיילים הרומנטיים לטיול הגדול, התעורר גם עניין מחודש בשושלת מדיצ'י ובאקדמיה הנאו-אפלטונית, שהתעורר עקב פרסום יצירות ספרותיות רבות, במיוחד מחוץ לאיטליה.
המאה ה-19.
בהמשך הועברה הווילה למשפחת הולנד, משפחת השגריר הבריטי בפירנצה. בעלים אלו אחראים לציורי קיר בלוג'יה שבקומת הקרקע הפונה לגן שבו מתוארת הסצנה של "רציחתו של הרופא של לורנצו המפואר בבאר הווילה"" מאת הצייר האנגלי ג'ורג' פרדריק ווטס (George Frederic Watts) ב-1845.
התפתחות המיתוס של לורנצו, במיוחד בציבור האנגלי, גרמה לכך שהווילה נרכשה על ידי סר פרנסיס ג'וזף סלואן (Francis Joseph Sloane) בשנת 1848. הוא ערך שינויים רבים ומשמעותיים בתקופה שבה היה הבעלים של הווילה.
סר סלואן היה בוטנאי חובב ושתל בפארק מספר רב של צמחים נדירים ולא שגרתיים, כמו קטלב משונן ("Arbutus unedo") מיוון בעל הקליפה האדמדמה, סקויה מקליפורניה, עצי ארז וכו'. חממת ההדרים (אורנז'רי) היא מתקופה זו. לאחר מותו של סר סלואן עבר הנכס לרוזן אוגוסטו בוטורלין.
המאה ה-20 וימינו.
בשנת 1901 הועברה הבעלות על הווילה למשפחת סרג'ה, ותרומתם לה הייתה רק בהמשך התחזוקה הרגילה שלה. הבעלים האחרון, רוזינה צ'ירילו פורנצ'יארי, מכרה את כל המתחם לבית החולים סנטה מריה נובה בפירנצה בשנת 1936. ברוב שטחי החווה הוקם בית החולים קרג'י, הגדול ביותר כיום בפירנצה, ובווילה שכנו כמה משרדי ניהול של בית החולים, שהפכו לימים לבית החולים האוניברסיטאי בקרג'י. אף על פי שהווילה הייתה פתוחה לציבור וניתן היה לבקר בחינם בחדרים המרכזיים, פעילויות מסוימות של הנהלת בית החולים פגעו בערך האמנותי והתיירותי שלה. לא חסרים דוגמאות לשימוש בלתי הולם באלמנטים ההיסטוריים של המקום, כגון שכל הפארק האנגלי הפך לחניה למכוניות של צוות בית החולים.
לאחר מעבר המשרדים של בית החולים ב-2008, הווילה למעשה ננטשה, והמתינה ליעד חדש. בשנת 2013 היא עברה לבעלות מחוז טוסקנה, שמבצע שיקום מוחלט של הבניין והגנים. בסוף אותה שנה היא נכנסה לרשימת אתרי המורשת העולמית של אונסק"ו, כחלק עם מהווילות והגנים של משפחת מדיצ'י בטוסקנה.
נכון ל-2020 הווילה עדיין סגורה לביקורים.
הווילה.
קומת הקרקע.
קומת הקרקע נפתחת אל החצר בתכנון מיקלוצו. לחצר יש צורה טרפזית העוקבת אחר פרופיל הבניין, שבתורו עוקב אחרי הרחוב הראשי שגבל בו. במרכז יש באר המתוארכת ככל הנראה למאה ה-14, ואילו שתי לוג'יות נפתחות בצד הצפוני והמזרחי עם קשתות עגולות, הנתמכות על ידי עמודים עם כותרות המקושטות בעלים של צמחי מים; משני הצדדים יש "ספורטו" (מעבר לקומות העליונות) ומרפסת, הנתמכת על ידי עמודים מתומנים עם כותרות גאומטריות, האופייניות לסגנון של מיקלוצו.