ההצגה השיטתית הראשונה של רעיונותיו המכלילים את תוצאותיהם של המתמטיקאים היוונים (במיוחד של ארכימדס) על חישוב שטחים ונפחים של עקומים וגופים מופיעה בספר הראשון של הפרינקיפיה (שפורסם מאוחר לניסוח שיטותיו רק ב-1687). ההוכחות בפרינקיפיה לא נכתבו בניסוח של "חשבון אינפיניטסימלי" כפי שאנו מכירים אותו, אלא מציגות גִרסה גאומטרית לשפת ה"קלקולוס" (חשבון דיפרנציאלי ואינטגרלי - חדו"א) המתבססת על ערכי גבול של יחסי גדלים ה"הולכים וקטנים". בספרו, ניוטון כינה שיטה זו בשם "שיטת היחסים הראשונים והאחרונים", הסביר מדוע הוא מציג את תוצאותיו בצורה הזו, והעיר כדרך אגב שהתהליכים הגאומטריים שתיאר שקולים לחישובים המבוצעים באמצעות "שיטת הגדלים הבלתי ניתנים לחלוקה (כלומר אינפיניטסימלים)". ההקשר בו כותב ניוטון הערה זו - באותם הימים ניסוח חשבון הגבולות, שהוא הכלי המרכזי בחדו"א, טרם עמד על יסודות איתנים, ובמידה רבה נחשב אזוטרי ולא מקובל בחוגי המתמטיקה הרציניים. ניוטון הבין את היעילות בניסוח חשבון הגבולות, או "חשבון האינסופיים" (האינפיניטסימלים), כפי שכונה באותם הימים, אך היעדר המסד הלוגי הנדרש להוכחות מתמטיות והגדרת מושגי יסוד והנחות יסוד ברורות ופשוטות מנע ממנו לעשות שימוש בו. בשל כך, ניוטון לא היה יכול לעשות שימוש בשיטות החדו"א שפיתח כדי להוכיח טענות מתמטית, ולא הייתה לו בררה אלא לעמול על הוכחות גאומטריות הדורשות משאבי ידע גדולים בהרבה. בהערתו ביקש להראות את יעילותן של השיטות ב"חשבון האינסופיים" (החדו"א) על פני ההוכחות הגאומטריות. במרוצת השנים נוסחו ההוכחות של ניוטון מחדש באמצעים אנליטיים במה שמכונה המכניקה האנליטית על ידי לגראנז', ומשנוסח החדו"א כהלכה על ידי קושי ואחרים נזנח לחלוטין השימוש בהוכחות הגאומטריות, והן בעיקר נחלתם של מתמטיקאים.
ברבות השנים התפתחה מחלוקת בין ניוטון לגוטפריד וילהלם לייבניץ בשאלת הבכורה על פיתוח החשבון האינפיניטסימלי. רוב ההיסטוריונים המודרניים מאמינים כי ניוטון ולייבניץ גילו ופיתחו את החדו"א באופן בלתי תלוי. ניוטון, ככל הנראה, הקדים את לייבניץ, אך פרסם מעט מאוד מפיתוחיו עד 1693, ולא סיפק הסבר מלא עד 1704. מאוחר יותר טען ניוטון כי התעכב בפרסום רשימותיו מחשש שילעגו לו. לייבניץ, לעומת זאת, פרסם הסבר מלא של השיטות שלו כבר ב-1684. כמו כן הרשימות של לייבניץ מפורטות ביותר לגבי הפיתוחים שלו לעומת רשימותיו של ניוטון שהציגו תוצאות סופיות בלבד. הסימון של ניוטון היה "סימון הנקודה של ניוטון" ואילו לייבניץ הסתמך על "סימון דיפרנציאלי", והאחרון הוא שאומץ בקרב מרבית המתמטיקאים. אף הסימונים האחרים של לייבניץ בחשבון האינפיניטסימלי נחשבו למקובלים יותר מאשר אלו של ניוטון.
ב-1699 העימות, ארוך השנים, על זכות הראשונים הפך ציבורי. הקהילה האוניברסיטאית האנגלית תמכה בניוטון, אך המתמטיקאים בשאר מדינות אירופה תמכו בלייבניץ, שהוכחותיו הבהירות והמפורטות יותר פורסמו קודם לכן ולכן גם נלמדו והשתרשו. כך נוצרה הפרדה בין הפעילות המתמטית באנגליה לזו של אירופה היבשתית. ניוטון אף גייס את החברה המלכותית, שהיה מזכירה, וב-1712 פורסם מסמך מטעמה שטען כי זכויות הגילוי הן של ניוטון, והאשים את לייבניץ בגנבה ספרותית. אמינותו של המסמך הוטלה בספק כאשר התברר מאוחר יותר כי ניוטון עצמו הוא שכתב חלקים ממנו. חלפו למעלה מ-200 שנה עד שהמצב התברר לאשורו וכיום ניתן הקרדיט על המצאת החדו"א הן לניוטון והן ללייבניץ, והמשפט היסודי של החשבון הדיפרנציאלי והאינטגרלי נקרא גם משפט ניוטון-לייבניץ.
ניוטון יישם את החשבון האינפיניטסימלי בפתרון מגוון בעיות: חישוב שטחים תחת עקומים, שיפועי משיקים, אורך של עקומות ומינימום ומקסימום של פונקציה. עבודתו בפיתוח ובשימוש בטורים אינסופיים הייתה חלוצית, בייחוד הצגה של פונקציות שונות כטורים (ראו טור טיילור), אשר אותם העריך באמצעות שיטות קירוב חדשניות. ניוטון הציג לראשונה את משפט הבינום המוכלל (אשר נקרא על שמו – הבינום של ניוטון), המכליל את תיאור טור טיילור של הפונקציה formula_1 גם כאשר formula_2 אינו מספר טבעי. הוא קירב סכומים חלקיים של הסדרה ההרמונית באמצעות לוגריתמים (בכך הקדים את נוסחת הסכום של אוילר) ותרם לחקר טורי חזקות. הוא תרם תרומות חשובות לתורה של הפרשים סופיים ולפתרון משוואות דיופנטיות. הוא פיתח והציג את זהויות ניוטון, שיטת ניוטון-רפסון להערכה נומרית של שורשי פונקציה, ומיין את העקומים המעוקבים במישור (פיתוח התורה של פולינומים ממעלה שלישית בשני משתנים). סקירה שימושית מאוד של המתמטיקה של ניוטון נכתבה על ידי המלומד, טום ויטסייד (Tom Whiteside), שתרגם וערך את כל הכתבים המתמטיים של ניוטון ובסוף חייו כתב סיכום על עבודתו המתמטית של ניוטון והשפעתה.
בעבודתו על פתרון נומרי של "משוואות אלגבריות מעורבות" הוא הציג את שיטת "מצולע ניוטון" (Newton polygon), המהווה הכללה רעיונית מרחיקת לכת של שיטת ניוטון-רפסון ממשוואות פולינומיות במשתנה אחד למשוואות פולינומיות בשני משתנים. במסגרת מחקרו על האינטגרציה של משוואות אלגבריות מעורבות כאלו, הוא גילה את הפיתוח הפורמלי של פתרונותיהן לטורי חזקות מסוג טורי פואיזֵה - טורי חזקות עם מעריכים שבריים (טורים אלו מכלילים את טורי החזקות הרגילים), כ-200 שנה לפני שפותחו עצמאית על ידי ויקטור פואיזה (Victor Puiseux). בכך היה באמתחתו כלי אנליטי "חסר תקדים" בכלליותו ועוצמתו, שהוא גם בעל שימושיות רבה בפיזיקה וגם בעל קשרים עמוקים לענפי מתמטיקה טהורים יותר. הוא תיאר את ממצאיו אלו במכתבו מ-1676 להנרי אולדנבורג, ומאוחר יותר בחייו החשיב את הישגו זה ל"תרומתו הגדולתו ביותר למתמטיקה טהורה". בכל אופן, שיטתו להצגת פונקציות פולינומיות סתומות כטורי חזקות שבריים לא זכתה לפיתוח הראוי במהלך המאה ה-18, ורק ב-1850 החיה פואיזה את שיטתו.
ניוטון כה מפורסם בשל עבודתו החלוצית על החדו"א, שקל להחמיץ עובדת היותו אחד הגאומטרנים הגדולים ביותר. בלב מחשבתו המתמטית עמדה הגישה הגאומטרית הסינתטית, והוא בדרך כלל הציג הוכחות מוגמרות בצורה של טיעונים גאומטריים, גם כי אלה היו למעשה היחידים שהיו מקובלים מתמטית. הוא פתר את בעיית פאפוס. בין משפטים גאומטריים רבים, הוא הוכיח מספר על מרובעים והאליפסות החוסמות והחסומות בהם. הוא בנה את הפרבולה המוגדרת על ידי ארבע נקודות. במסגרת חקירותיו את העקומים האלגבריים (ראו גם חתכי חרוט ועקום אליפטי), היה הראשון לקבוע את משפט בזו (Bézout's theorem), תוצאה יסודית וחשובה בגאומטריה אלגברית, הקובעת כי מספר נקודות החיתוך של שני עקומים אלגבריים פרויקטיביים מדרגות n ו-m שווה למכפלת הדרגות שלהם nm.
ב-1669 נבחר ניוטון לכהן כפרופסור למתמטיקה בקתדרה למתמטיקה על שם לוקאס באוניברסיטת קיימברידג'. באותם ימים, כל בעל משרה באוניברסיטת קיימברידג' או באוניברסיטת אוקספורד היה חייב להיות גם כומר אנגליקני מוסמך. למרות זאת, באופן חריג, התנאים של הקתדרה על שם לוקאס דרשו שלא להיות פעיל בכנסייה (ככל הנראה היה זה כך על מנת שלמחזיקים במשרה יהיה זמן רב יותר לעסוק במדע). ניוטון טען שדרישה זו פוטרת אותו מההסמכה לכמורה, וצ'ארלס השני, מלך אנגליה, שאישורו היה הכרחי, קיבל את הטענה. בדרך זו נמנעה התנגשות בין אמונתו של ניוטון (שהיה אדם מאמין אם כי כנראה לא אנגליקני), ובין הכנסייה האנגליקנית.
אופטיקה.
ב-1666, ניוטון ערך את ניסוי הנפיצה המפורסם שלו, בו גילה שספקטרום הצבעים היוצאים ממנסרה המוצבת בנקודת זווית ההסטה המינימלית (minimum deviation) הוא מלבני (דהיינו אלומת האור היוצאת אינה מתבדרת או מתכנסת) גם כאשר אלומת האור הנכנסת חרוטית ולכאורה מתבקש היה שההיטל הנוצר יהיה מעגלי. ניוטון הבין שכיוון שבהצבה בנקודת הסטה מינימלית, כל הקרניים הנכנסות אמורות להיות מוסטות באותה זווית - בגלל המינימום המקומי, אלומת האור היוצאת אמורה, כאמור, להישאר מעגלית, וכיוון שהניסוי שלל זאת, ההסבר הנכון היחידי הוא שהמנסרה מסיטה צבעים שונים בזוויות שונות. ניוטון הסיק מהניסוי שצבע האור (וצבע בכלל) הוא תכונה פנימית של האור, בניגוד לדעה שרווחה בימים ההם שמנסרה מוסיפה צבעים לאור הלבן.
בשנים 1670–1672 ניוטון המשיך בין היתר לחקור תופעות אופטיות. בניסוי נוסף בנפיצה, הדגים ניוטון כיצד ניתן להיעזר בספקטרום צבעוני כדי להרכיב מחדש אור לבן. בניסוי ניוטון החשיך חדר ניסוי לחלוטין ובעזרת חריץ דק "בודד" קרן אור שמש לבן, במסלולה הניח מנסרה, כך שהאור הלבן שעבר במנסרה הפך לסדרת צבעי הקשת. ניוטון המשיך את הניסוי, הניח עדשה מרכזת (קמורה) במסלול קרני קשת הצבעים, אז במסלול הקרנים המרוכזות הניח מנסרה שנייה, וקיבל בחזרה אור לבן. הסברו החדשני של ניוטון היה שאור השמש הלבן הוא תערובת של צבעי הקשת, כאשר תערובת הצבעים עוברת דרך המנסרה כל צבע נשבר בזווית שונה, בניגוד לדעה שרווחה בימים ההם שחומר המנסרה "מזהם" את האור הלבן ה"טהור" ומוסיף לו צבעים.