הדיונים בנוגע להקמה של קולג' בניו-יורק החלו בשנת 1701, אולם רק במחצית השנייה של המאה ה-18 הבשילו לכדי תוכנית ממשית. בראשית שנות החמישים של המאה ה-18, הגיבו אנשי הכמורה של כנסיית טריניטי בניו-יורק להקמת אוניברסיטת ייל בניו הייבן בשנת 1701, ולהקמת אוניברסיטת פרינסטון בניוארק שבניו ג'רזי ב-1746. הרצון למוסד אקדמי נבע ממניעים דתיים וכלכלים: אנשי כנסיית טריניטי חששו מההתעוררות הדתית של הפלגים הפרוטסטנטים ומירידת מעמדה של ניו-יורק כמרכז תרבותי ואינטלקטואלי. חברי הכנסייה הקימו מוסד משלהם, קינגס קולג', ובחרו את ד"ר סמואל ג'ונסון כנשיא הראשון. הלימודים התחילו ב-17 ביולי 1754 עם ג'ונסון כמרצה היחיד. לאחר מספר חודשים, ב-31 באוקטובר 1754, העניק מלך אנגליה, ג'ורג השני, את הרישיון המלכותי שאישר רשמית את הקמת הקולג'. בשנת 1760 עבר הקולג' מבניין הכנסייה לבניין באזור פארק פלייס (כיום אזור בניין העירייה). בשנת 1767 סמואל בארד הקים בית ספר לרפואה וקולג' הפך למוסד האקדמי הראשון באמריקה להעניק תואר דוקטור לרפואה (.M.D).
הקמת המוסד לוותה במחלוקות מכיוון שהמוסד היה בבעלות מלאה של הכנסייה האנגליקנית ונציגי המלך כדוגמת הארכיבישוף מקנטרברי והמזכיר המלכותי לענייני קולוניות ומטעים שלטו בהנהלת המכללה. החששות מפני החדרת ההשפעה של הכנסייה אנגליקנית והכתר הבריטי על הנעשה באמריקה באמצעות ניהול הקולג' זכו לאישוש מהעושר הרב של הקולג' שעלה בהרבה על זה של שאר המוסדות להשכלה במושבות שבאותה תקופה.
למהפכה האמריקאית הייתה השפעה קטסטרופלית על קינגס קולג'. המלחמה גרמה להשעיית הלימודים מ-1776 לשמונה שנים. בזמן זה נבזזה הספרייה והבניין היחיד ששימש ללימודים הוחרם והפך לבית חולים צבאי ששימש גם את החיילים הבריטים וגם את החיילים האמריקאים. בנוסף, רבים מבוגרי הקולג', רובם נאמנים לכתר, ברחו לקנדה או לבריטניה, מה שהותיר את ניהולו העתידי וחוסנו הכלכלי של הקולג' בסימן שאלה.
עד למהפכה האמריקאית היה קינגס קולג' מרכז לתומכי המלך, ועם זאת, כמה ממנהיגיה הבולטים של המהפכה היו בוגרי הקולג'. בוגרים אלו תרמו מאוחר יותר לשיקום המוסד. בין התלמידים וחברי מועצת הנאמנים של אותה תקופה בולטים ג'ון ג'יי, שהיה בין האחראים למשא ומתן על חוזה פריז שסיים את המלחמה עם בריטניה ולאחר מכן הפך לנשיא הראשון של בית המשפט העליון, ואלכסנדר המילטון, אחד מכותבי הפדרליסט ולאחר מכן שר האוצר הראשון. ראויים לציון גם גובנר מוריס שכתב את הטיוטה האחרונה של חוקת ארצות הברית ורוברט ליווינגסטון שהיה חבר בוועדה שניסחה את הכרזת העצמאות של ארצות הברית.
השנים המוקדמות: 1784–1857.
אף על פי שדבקה בקולג' תדמית של נאמנות לכתר הבריטי הצליחו בוגריו, ובמיוחד המילטון וג'יי, בקריאתם לפתיחתו מחדש לאחר המלחמה. כאשר ג'ורג' קלינטון, מושל מדינת ניו יורק, נאלץ לשלוח את בנו ללימודים באוניברסיטת פרינסטון שבניו-ג'רזי, תמך גם הוא בפתיחה מחודשת של המוסד. בשנת 1784 נפתח הקולג' שוב, הפעם כקולומביה קולג'. השם החדש שיקף את התזזית הפטריוטית שהובילה את האומה האמריקאית לעבר עצמאות.
המושל קלינטון ומחוקקי מדינת ניו-יורק העניקו למוסד צ'רטר חדש ללא כל שיוך לכנסייה האנגליקנית. הפיקוח על הקולג' הוענק למועצה של עוצרים שייצגו את כל המחוזות במדינת ניו-יורק ולמושל ששירת כנשיא. המחוקקים רצו לייצר דגם למערכת חינוך ארצית שתהיה תחת בעלות ופיקוח המדינה.
כאשר המדינה התרשלה בהעברת כספים למוסד, החל ההסדר להעיק על שני הצדדים. הפיקוח על הקולג' התרחב לעשרים מתושבי העיר ניו-יורק, והמילטון, ג'יי וראש העיר ניו-יורק, ג'יימס דווין, החלו מהלך להענקת עצמאות לקולג'. בשנת 1787 אימצו המחוקקים צ'רטר חדש שעדיין תקף היום. סמכויות הפיקוח הוענקו לחבר נאמנים. ויליאם סמואל ג'ונסון, בנו של סמואל ג'ונסון, מונה כנשיא הקולג'.
בשנות ה-90 של המאה ה-18 חידש הקולג' את מעמדו. העיר ניו-יורק הפכה (לזמן קצר) לבירת מדינת ניו-יורק ולבירה הפדרלית. בשנת 1790 השתתף ג'ורג' וושינגטון בטקס הסיום של הקולג' וההתעניינות בחינוך משפטי גברה. אולם התחזקות המוסד לא המשיכה זמן רב. הקושי המרכזי היה כספי. הקולג' איבד את התמיכה הממשלתית כשהפך לעצמאי, וכאשר פוליטיקאים עוינים עלו לשלטון וקולג'ים חדשים החלו גם הם לבקש תמיכה כלכלית התחרות הפכה לקשה. היתרון של קולומביה היה נדל"ן במנהטן, אולם יתרון זה התגלה רק שנים מאוחר יותר.
במחצית הראשונה של המאה ה-19 המשיך הקולג' להיאבק בקשיים. הפקולטה למשפטים לא זכתה להצלחה ובשנת 1807 בית הספר לרפואה, על מנת לעצור את דעיכתו, ניתק את קשריו עם קולומביה והתאחד עם הקולג' לרופאים ומנתחים. הקולג' ניסה לשקם את תדמיתו גם באמצעות בנייה של אגפים חדשים ועיצוב הבניין בסגנון אדריכלות יוון העתיקה, אולם ניסיונות אלו לא עצרו את השקיעה התדמיתית. בשנת 1854 נפגעה התדמית עוד יותר בשל תקרית גיבס, כאשר הקולג' לא קיבל לשורותיו פרופסור נודע לכימיה, אוליבר וולקוט גיבס, בשל השקפתו הדתית. התקרית הוכיחה לרבים כי המוסד לוקה בצרות אופקים. ביולי 1854 התפרסם מאמר בשם "הקשיים החדשים של קולומביה קולג'" בעיתון בבוסטון שטען כי בית הספר היה "טוב במקצועות קלאסיים" אולם "חלש במדעים" וש"מעטים מבוגריו מצטיינים".
ההתרחבות והמעבר למרכז רוקפלר.
בשנת 1849 הקולג' עבר מפארק פלייס לרחוב 49 ושדרת מדיסון, שם נשאר המוסד למשך חמישים שנה. המעבר נשא בחובו שינויים מרחיקי לכת. בטקס הסיום של אותה שנה הכריז נשיא האוניברסיטה, צ'ארלס קינג, על קולומביה כ"אוניברסיטה". במחצית השנייה של המאה ה-19 המוסד התפתח למבנה המזכיר אוניברסיטה מודרנית. בית הספר למשפטים נוסד בשנת 1858, ובית הספר למכרות (כיום בית הספר להנדסאים על שם עמותת פו) נוסד בשנת 1864. בשנת 1889 ברנארד קולג', בית הספר לתואר ראשון לנשים, החל בפעילות תחת הסכם שיתוף עם קולומביה. בשנת 1891 קולומביה קיבלה לשורותיה חזרה את הקולג' לרופאים ומנתחים, ובשנת 1893 את הקולג' למורים. בשנת 1875 הוענק תואר הדוקטור הראשון על ידי הפקולטה למדעי המדינה, פילוסופיה ומדעים מדויקים.
מורנינגסייד הייטס.
בשנת 1896 חבר הנאמנים שוב שינה את שם המוסד, הפעם לאוניברסיטת קולומביה (כיום השם הרשמי של האוניברסיטה הוא "אוניברסיטת קולומביה בעיר ניו-יורק"). באותה תקופה נשיא האוניברסיטה, סת' לו, העביר את הקמפוס ממרכז רוקפלר למקומו הנוכחי: מורנינגסייד הייטס (Morningside Heights) שבמנהטן. באותה תקופה האזור היה כפרי ומרווח. לפני המעבר של קולומביה למורנינגסייד הייטס השטח היה חלק מבית המשוגעים בלומינגדייל (Bloomingdale Insane Asylum). אחד הבניינים של המוסד הרפואי עדיין עומד על תילו.
הבניין שנחשב לסמל ולמרכז של הקמפוס הוא בניין ספריית לו (Low Library). הבניין נבנה בשנת 1895, והוא עדיין נקרא "ספרייה" אף על פי שחדל מלשמש כספרייה בשנת 1934. כיום הבניין משמש כמשרד לנשיא האוניברסיטה וכארכיון. הבניין עוצב כך שיידמה לפנתאון ולפרתנון, וחלונותיו דומים לאלו שבמרחצאות דיוקלטיאנוס. כיפת הגרניט של הבניין היא הכיפה הגדולה ביותר בצפון אמריקה.
ניקולס מורי באטלר, יורשו של סת' לו בתפקיד הנשיא, המשיך בפיתוח האוניברסיטה כמוסד נחשב למחקר, ויצר את מודל ה"מולטיברסיטה" שאותו אימצו אוניברסיטאות אחרות. הוא ריכז על הקמפוס של מורנינגסייד הייטס את קולומביה קולג', את בית הספר למשפטים, את הפקולטות לתארים מתקדמים, את בית הספר למכרות (כיום בית הספר להנדסה ומדע שימושי על שם עמותת פו), ואת בית הספר לרפואה. באטלר כיהן כנשיא האוניברסיטה למעלה מארבעה עשורים והפך לדמות ציבורית ידועה. בין היתר היה מועמד למשרת סגן נשיא ארצות הברית, וחתן פרס נובל. הוא "ייבא" את גישת העסקים של ניו-יורק לניהול האוניברסיטה והוביל לרפורמות פנימיות נרחבות, כגון: איחוד סמכויות אקדמיות תחת משרד אחד, מינוי ישיר של רשמים, דיקנים, רקטורים, ומזכירים, כמו גם יצירת ביורוקרטיה מקצועית לאוניברסיטה, צעד חסר תקדים לאוניברסיטאות באותה תקופה.
בשנת 1893 נוסדה הוצאת הספרים של אוניברסיטת קולומביה, על מנת "לקדם את לימודים בכלכלה, היסטוריה, ספרות, מדע ועוד, ולקדם ולעודד את הוצאתם לאור של עבודות מחקר בתחומים הללו". ספרי ההוצאה כוללים את אנציקלופדית קולומביה (1935) ואת ה The Columbia Lippincott Gazetteer of the World, (1952).
בשנת 1902 איש העיתונות ג'וזף פוליצר תרם סכום משמעותי לאוניברסיטה כדי לייסד את בית הספר לעיתונות. בית הספר נחנך בשנת 1912, והוא בית הספר לעיתונות היחיד בליגת הקיסוס. בית הספר אחראי לניהול פרס פוליצר ופרסי דופונט-קולומביה לעיתונות משודרת.
בשנת 1948 מונה דווייט אייזנהאואר לנשיא האוניברסיטה. אייזנהאואר נשאר בתפקיד זה עד לבחירתו לנשיא ארצות הברית בשנת 1953, אולם את מרבית זמנו השקיע בתפקידו כראש המטות המשולבים של נאט"ו באירופה.
המחלקה לפיזיקה של קולומביה זכתה לזרקור בינלאומי כאשר בשנות ה-40 החוקרים ג'ון ר. דוננינג, איזידור רבי, אנריקו פרמי ופוליקרפ קוש התחילו בניסויים הגרעיניים במה שמאוחר יותר ייקרא פרויקט מנהטן.
בשנת 1946, לאחר מלחמת העולם השנייה, נוסד בית הספר ליחסים בינלאומיים. במקור נועד בית הספר לאמן את הדור הבא של דיפלומטים ומומחים ליחסים בינלאומיים, והוא העניק תוארי מאסטר ביחסים בינלאומיים. בשנת 1977, על מנת לקדם את ההשכלה של אנשי מינהל ציבורי, התחיל בית הספר להעניק תוארי מאסטר במינהל ציבורי. משנת 2001 מציע בית הספר גם מסלול עם התמחות במדעי הסביבה, ומ-2004 ניתן גם ללמוד לדוקטורט בפיתוח בר קיימא.
הפגנות הסטודנטים.