חלק ניכר מההתקדמות המתמטית במאה ה-17 התאפשרה בזכות הנזיר הצרפתי מרן מרסן. מרסן ניהל חלופות מכתבים עם מתמטיקאים ומדענים מרכזיים בכל רחבי אירופה, קישר ביניהם, הפיץ את תורותיהם ואירח מפגשים מדעיים ומתמטיים במנזרו. מרסן תרם למתמטיקה את הנושא של מספרי מרסן הקרויים על שמו. מרסן היה נחוש להילחם בסודיות שאפיינה את המחקר עד לתקופתו ולעודד מדענים לסייע ולהסתייע במחקרים של מדענים אחרים. לפני תקופתו מתמטיקאים רבים העדיפו לשמור על שיטות הפעולה שלהם בסוד בדומה לסוד מסחרי. כאשר חוקר סירב להתייצב במפגשי הקבוצה שלו, מרסן נהג להעביר לחברי הקבוצה את כל החומרים שאדם זה שלח עליו עד אז, כולל מכתבים ומאמרים שנשלחו אליו באופן פרטי. התנהגות זו נחשבה לא מוסרית אבל מרסן טען להגנתו כי חילופי המידע יועילו למתמטיקה ולמדע, ולמין האנושי בכלל. הפרת הסודיות גרמה למריבות קשות בינו לבין חוקרים שונים.
במחצית השנייה של המאה ה-17, פותח מאוד החשבון האינפיניטסימלי. תחום זה התפתח במקביל על ידי זוג היריבים, אייזק ניוטון וגוטפריד וילהלם לייבניץ. ניוטון פיתח את התאוריה שלו בין חורף 1664 לאוקטובר 1666, והפקיד סיכום של עבודתו בידי ג'ון קולינס, יועצו של מזכיר החברה המלכותית הבריטית. לייבניץ החל לעבוד בנושא ב-1673. ניוטון פרסם מעט מאוד משיטותיו בתחום זה עד 1693, ולא סיפק הסבר מלא עד 1704. מאוחר יותר טען ניוטון כי התעכב בפרסום רשימותיו מחשש שילעגו לו. לייבניץ, לעומת זאת, פרסם הסבר מלא של השיטות שלו כבר ב-1684. הרשימות של לייבניץ היו מפורטות ביותר לגבי הפיתוחים שלו לעומת רשימותיו של ניוטון שהציגו פיתוחים סופיים בלבד.
ב-1699 החלו ניוטון ולייבניץ בעימות ארוך שנים ומכוער לגבי זכות הראשונים על המצאת החדו"א. כל אחד מן השניים טען שהוא זה שגילה את החדו"א והאחר העתיק ממנו, ומכיוון שהאנגלים תמכו בניוטון ואילו המתמטיקאים בשאר מדינות אירופה תמכו בלייבניץ. ניוטון אף גייס את החברה המלכותית, שהוא היה מזכירה למאבק וניסה לזייף מסמך שיתמוך בגרסתו. העימות וההפרדה שנוצרה השפיעו לרעה על התפתחות המתמטיקה באירופה במשך מאה שלמה. חלפו למעלה מ-200 שנה עד שהמצב התברר לאשורו וכיום ניתן הקרדיט על המצאת החדו"א הן לניוטון והן ללייבניץ, והמשפט היסודי של החשבון הדיפרנציאלי והאינטגרלי נקרא גם משפט ניוטון-לייבניץ. הסימונים המקובלים כיום לנגזרת ואינטגרל הגיעו בעיקר מהסימונים של לייביניץ.
פיתוח החשבון האינפיניטסימלי הוליד את הענף המתמטי המרכזי – אנליזה מתמטית. ניוטון שינה קצת את המוקד של בעיות מתמטיות. עד לתקופתו מתמטיקאים רבים עסקו בבעיות מתמטיות טהורות שלא בהכרח היה להם יישום בחיי היומיום. עבודתו של ניוטון המחישה למתמטיקאים ולגורמים רבים את השימושים הרבים של מתמטיקה והחל מאמץ רב יותר בתחומים של מתמטיקה שימושית. כמו כן שליטים שונים באירופה החלו לממן את עבדותם של מתמטיקאים.
בתקופה זו החלה לבלוט משפחת ברנולי, משפחת סוחרים שווייצרית, שהוציאה מקרבה מתמטיקאים ידועים במשך שלושה דורות. המתמטיקאים המפורסמים יאקוב ברנולי ויוהאן ברנולי (1667-1748), שהצטרפו אל ניוטון ולייבניץ בחקירת הרעיונות החדשים של החשבון האינפיניטסימלי. שלושת בניו של יוהאן, יוהאן השני (1710-1790), דניאל וניקולאוס (1695-1726) היו מתמטיקאים; דניאל הוא מחלוצי ההידרודינמיקה. גם אחד משלושת בנו של יוהאן השני, יוהאן השלישי (1744-1807), עסק במתמטיקה. יוהאן ברנולי ידוע גם בזכות היותו מורהו של לאונרד אוילר והתכתבויותיו הרבות.
המאה ה־18.
לאונרד אוילר שנולד בשווייץ ופעל בגרמניה וברוסיה, נחשב למתמטיקאי המוביל של המאה ה-18 ולאחד מהבולטים ביותר בכל הזמנים. הוא פרסם 886 ספרים ומאמרים בימי חייו, ונחשב ליותר פורה מאשר כל מתמטיקאי אחר בהיסטוריה. עבודתו של אוילר הקיפה כמעט כל תחום אפשרי במתמטיקה: גאומטריה, אנליזה מתמטית, תורת הגרפים, אלגברה, תורת המספרים ועוד. עבודתו של אוילר נגעה בתחומים רבים כל כך, שבמקרים רבים עבודתו היא החומר הכתוב הראשון שנמצא בנושא מסוים והוא אחראי להוכחות הראשונות בנושא זה, ולכן בניסיון מניעה שכמעט כל דבר יקרא על שמו של אוילר, חלק מתגליותיו וממצאיו משויכים לאדם הראשון בהיסטוריה שעסק או הוכיח בהם משהו לאחר מותו של אוילר.
אוילר המציא סימנים מתמטיים שהפכו לנחלת הכלל. כולל formula_20 - היחידה המדומה, formula_21 - בסיס הלוגריתם הטבעי, אשר אוילר הוכיח שהוא מספר אי-רציונלי, formula_22 כצורת סימון לפונקציה של המשתנה x (במקום לרשום את הפונקציה בצורה ישירה), הסימן formula_23 כיחס בין היקף המעגל לקוטרו, formula_24 כסכום, הסימונים המודרניים לפונקציות הטריגונומטריות, ועוד. הוא גם הגדיר את הקבוע המסומן באות גמא formula_25 הקרוי קבוע אוילר.
פיתוח החשבון האינפיניטסימלי והאנליזה היה משאת נפשם של מתמטיקאים בני המאה ה-18. בתחום זה אולי השפיע אוילר יותר מכול, ורעיונותיו הובילו להתקדמויות אדירות. אוילר הביא לעולם את רעיון ההצגה של טור חזקות אינסופי ופיתוחו, כמו התגלית:
formula_26. ב-1735 פתר אוילר את בעיית בזל דבר שזיכה אותו בתהילה אדירה, מאחר שבעיה זו ניצבה ללא פתרון במשך זמן רב, חרף ניסיונותיהם של המתמטיקאים הדגולים שקדמו לאוילר, בהם בני משפחת ברנולי וגוטפריד וילהלם לייבניץ. במסגרת מחקרו על פונקציית זטא הכליל אוילר את הבעיה והצליח, למצוא ביטוי המתאר את הערכים של פונקציית זטא לכל מספר טבעי זוגי.
ב-1735 פתר אוילר בעיה הידועה כבעיית הגשרים של קניגסברג. פתרונו זה של אוילר הניח את היסודות לתורת הגרפים, והיה המשפט הראשון שנוסח בתחום זה. אוילר פתר את חידת מסע הפרש והראה כי היא מקרה פרטי של בעיה חשובה בתורת הגרפים - מציאת מסלול המילטוני בגרף. אוילר גם גילה את הנוסחה V − E + F = 2, שמקשרת בין מספר הקודקודים, הצלעות, והפאות של פאון קמור, ולחלופין של גרף מישורי. אוילר נעזר בנוסחה הזו כדי להוכיח מחדש את התוצאה העתיקה שישנם רק 5 פאונים אפלטוניים, ובכך הדגים הוכחה מנקודת מבט שונה לחלוטין מאילו שנראו עד אז. המחקר המתמטי שנערך במאה ה-19 על הנוסחה הזו, במיוחד על ידי קושי ואחרים, הוא מקורו של ענף המתמטיקה הקרוי טופולוגיה.
המאה ה־19.
בשנת 1812 פרסם פייר-סימון לפלס את ספרו "תאוריה אנליטית של ההסתברות", שהיווה ביסוס שיטתי ראשון של תורת ההסתברות. בשנת 1867 הוכיח צ'בישב את חוק המספרים הגדולים, ולאחר מכן הוכיח תלמידו ליאפונוב את משפט הגבול המרכזי - אלה שני משפטים חשובים של תורת ההסתברות. ביסוס אקסיומטי לתורה זו נעשה רק בשנת 1933, באמצעות האקסיומות של קולמוגורוב.
בחצי הראשון של המאה ה-19 הצליח המתמטיקאי הצרפתי אוגוסטין לואי קושי לבסס את מושג הגבול באמצעות גדלים ממשיים וסופיים בלבד. ההגדרות של קושי החליפו את השימוש במושג האינפיניטיסמל בשימוש במספרים ממשיים שיכולים להיות "קטנים כרצוננו" או "גדולים כרצוננו". הגדרת הגבול של קושי נהפכה לאבן היסוד של התחום בצורתו המודרנית. את ביסוס תורת הגבולות והטופולוגיה של הישר הממשי ביצעו בנוסף לקושי גם קארל ויירשטראס (שבין השאר הנהיג את ההגדרות המודרניות של מושגים יסודיים כמו גבול ונגזרת, במונחי formula_27 ו- formula_28) ובולצאנו. תרמו גם לגראנז', דארבו ורימן.
ברבע השני של המאה ה-19 נוצרה הגאומטריה הלא-אוקלידית כפתרון לבעיה שהעסיקה את המתמטיקאים במשך מאות שנים: הניסיון להוכיח את אקסיומת המקבילים. לאקסיומה זו, שהיא החמישית בין אקסיומות הגאומטריה שבספרו של אוקלידס, "יסודות", מבנה מורכב באופן חריג לעומת שאר האקסיומות. לפיכך נעשו מאמצים רבים להוכיח שאקסיומה זו נובעת מהאקסיומות האחרות, כלומר – אינה אקסיומה אלא משפט. מאמצים אלה עלו בתוהו במשך מאות שנים, עד שבראשית המאה ה-19 נעשתה פריצת דרך בנושא, כאשר מתמטיקאים אחדים הבינו שנדרש כיוון שונה.
לרעיון שניתן להחליף את אקסיומת המקבילים באקסיומה אחרת, ובכך לקבל גאומטריה שונה מהגאומטריה האוקלידית אך תקפה באותה מידה, הגיע לראשונה גאוס, שחשש לפרסם רעיון כה חדשני. אחריו הגיעו לרעיון, באופן בלתי תלוי, המתמטיקאי הרוסי ניקולאי איוונוביץ' לובצ'בסקי וקצין הצבא ההונגרי יאנוש בויאי. אחת הגרסאות הלא־אוקלידיות, הגאומטריה ההיפרבולית, אומרת שדרך נקודה מחוץ לישר עוברים אינסוף ישרים מקבילים לישר זה (ולא אחד בלבד כבגאומטריה האוקלידית). בגרסה אחרת של גאומטריה לא־אוקלידית, הגאומטריה הפרויקטיבית והגאומטריה הכדורית, שאותה פיתח ברנהרד רימן, תלמידו של גאוס, אומרת האקסיומה שכל שני קווים ישרים - נפגשים. בגאומטריה זו לא קיימים ישרים מקבילים.
במאה התשע-עשרה הושם קץ לניסיונות לפתור את בעיות הבנייה שהעסיקו את היוונים הקדמונים ונודעו בשם הבעיות הגאומטריות של ימי קדם. בעזרת תורת גלואה הוכח שבעיות אלה אינן פתירות, כלומר אין דרך לבצע את הבניות הנדרשות. עד למועד זה תרמו הניסיונות לפתרון בעיות אלה להתפתחותה של הגאומטריה.
ב-1870 החל גאורג קנטור לפתח את תורת הקבוצות, בעקבות קשיים שהתעוררו בתורת הפונקציות הממשיות. קנטור חקר קבוצות של נקודות אי-רציפות, ואחר-כך קבוצות כלליות יותר. את מחקריו סיכם בשני מאמרים שפורסמו ב-1895 וב-1897 תחת הכותרת "תרומה ליסודות התאוריה של מספרים טרנספיניטים" (במקור - בגרמנית), בכתב-העת Mathematische Annalen. בתחילת המאה ה-20 התגלו בתורת הקבוצות פרדוקסים שנבעו מהיותה מתירנית מדי וחסרת ביסוס אקסיומטי נאות. לשם פתרון בעיות אלה פותחה תורת הקבוצות האקסיומטית.
המאה ה־20.