בתקופה מאוחרת יותר, השתמשו היוונים בשיטת סימון מתקדמת יותר, שבה הוצגו המספרים לפי 22 אותיות האלפבית היווני. לסימון המספרים בין 1 ל-9 נקבעו תשע האותיות הראשונות, בתוספת גרש ( ' ) בצד ימין של האות, למעלה; תשע האותיות הבאות ייצגו את העשרות מ-10 עד 90, והאותיות שלאחריהן ייצגו את המאות. לסימון הספרות בין 1000 ל-900,000, השתמשו היוונים באותן אותיות, אך הוסיפו לאותיות את הגרש דווקא מצד שמאל של האותיות, למטה. ממיליון ומעלה, כנראה השתמשו היוונים בשני תגים במקום אחד.
המתמטיקאי הבולט הראשון ביוון העתיקה, ויש האומרים בתולדות האנושות, הוא תאלס (624 לפנה"ס - 546 לפנה"ס בקירוב). לא יהיה זה משולל יסוד להניח שהוא האדם הראשון שהוכיח משפט מתמטי, ולא רק גילה אותו. תאלס הוכיח בין השאר (אם כי ההוכחות שלו אינן פורמליות כמו אלו המודרניות), שהקוטר מחלק את המעגל לשני חלקים שווים, שזוויות הבסיס במשולש שווה-שוקיים שוות זו לזו וששני משולשים השווים זה לזה באורכים של שתי צלעות בהתאמה ובזווית שביניהן, הם חופפים. שני משפטים שהוכיח קיבלו את השם "משפט תאלס": "ישרים מקבילים חותכים מצד אחד של שוקי זווית קטעים בעלי יחסים שווים" הוא משפט תאלס הראשון ו"הזווית המונחת על קוטר במעגל היא זווית ישרה" הוא משפט תאלס השני. מיוחסות לו גם שיטות למדידת גובהן של הפירמידות בעזרת מדידת הצל שלהן; ולקביעת מיקומה של ספינה הנראית מן החוף (בגלל כדוריות פני הים).
בשנים 582 לפנה"ס עד 496 לפנה"ס, בקירוב, חי מתמטיקאי חשוב במיוחד - פיתגורס. המקורות הראשוניים עליו מועטים, וההיסטוריונים מתקשים להפריד את העובדות משכבת המסתורין והאגדות שנקשרו בו. ידוע שסביבו התקבצה האסכולה הפיתגוראית, מעין כת פסבדו-מתמטית שהאמינה ש"הכל מספר", או ליתר דיוק הכל ניתן לכימות, וייחסה למספרים משמעויות מיסטיות. ככל הנראה הפיתגוראים ידעו לבנות את הגופים האפלטוניים, הכירו את הממוצע האריתמטי, הממוצע הגאומטרי והממוצע ההרמוני והגיעו להישגים חשובים נוספים. בין סוגי המספרים שהתעניינו בהם הם מספרים מצולעים (משולשיים, ריבועיים וכולי) ומספרים משוכללים, שני סוגי מספרים שככל הידוע הפיתגוראים היו הראשונים לעסוק בהם באופן מדעי. ניתן לומר שהפיתגוראים גילו את היותו של השורש הריבועי של 2, שהוא גם האלכסון בריבוע שאורך צלעותיו 1, אי רציונלי, אך תגליתם הייתה למעשה רק שהקטעים הם "חסרי מידה משותפת", ומושג המספר האי רציונלי נוצר מאוחר יותר. משפט פיתגורס, שהיה ידוע להם, קיבל את שמו מפיתגורס, אף על פי שכמעט ודאי שהוא היה ידוע עוד קודם, ואין ראיות לכך שהפיתגוראאקסים ידעו להוכיח אותו.
השפעתם של הפיתגוראים ניכרה גם בכתבי הפילוסוף החשוב אפלטון (427-8 לפנה"ס - 347 לפנה"ס), שהוקסם מההרמוניה שמצא במתמטיקה, וסבר שיש ללמדה הן למען פיתוח החשיבה והבנה מעמיקה יותר של העולם, והן לצרכים מעשיים. על שער האקדמיה האפלטונית רשם: "הא-גאומטרי [חסר הידע בגאומטריה] בל ייכנס לכאן". בדיאלוג "המדינה" כתב:
הוא לא הגיע להישגים מתמטיים בעצמו, אך עודד מתמטיקאים וכונה "יוצר מתמטיקאים". תלמידו, הפילוסוף הנודע אריסטו, הלך בדרך מורו ורומם את המתמטיקה בכתביו כ"עומדת באמצע הדרך בין פיזיקה לבין מטאפיזיקה". הוא כתב על פילוסופיה של המתמטיקה, וכן תרם תרומות למתמטיקה, בין השאר בהבחנה החדה בין אקסיומות לבין פוסטולטים.
בתקופה שלאחר פיתגורס פעל היפוקרטס מכיוס (בקירוב 470 לפנה"ס עד 410 לפנה"ס), שתרם תרומות חשובות לגאומטריה היוונית, במיוחד בנושאי הצורות החסומות. בתקופתו, פחות או יותר, נהגו הבעיות הגאומטריות של ימי קדם: בניית קובייה שנפחה בדיוק כפול מזה של קובייה נתונה, שילוש זווית (חלוקת זווית נתונה לשלושה חלקים שווים), תרבוע העיגול (בניית ריבוע השווה בשטחו לעיגול נתון) ובניית מצולע משוכלל בן שבע צלעות - כל אלו באמצעות סרגל ומחוגה בלבד. רק במאה התשע עשרה הוכח בעזרת תורת גלואה שהבעיות הללו בלתי פתירות, אך הניסיונות לפתרן תרמו תרומה עצומה להתפתחות המתמטיקה בכלל והמתמטיקה היוונית בפרט. להיפוקרטס מכיוס היו מספר תובנות חשובות על הבעיות האלו. מעט אחרי היפוקרטס חי אאודוקסוס מקנידוס (ככל הנראה 408 או 410 - 347 או 355 לפנה"ס), שחקר יחסים בין מספרים ופיתח שיטה למציאת שטחו של עקום.
תרומה יוצאת דופן להתפתחות המתמטיקה תרם אוקלידס מאלכסנדריה, שחי, כמשוער, בין 365 ל-275 לפני הספירה. הוא כתב מספר חיבורים, אך החשוב שבהם הוא ללא ספק הספר "יסודות", מהספרים המתמטיים המשפיעים ביותר בכל הזמנים. הספר, בן שלושה עשר הכרכים, עוסק בגאומטריה ובאריתמטיקה, ותורם תרומות חשובות בשניהם. למעשה הוא בנוי במתכונת של ספר לימוד, וקשה להפריד מה בו מקורי ומה תוצר עבודתם של מתמטיקאים קודמים. המתמטיקה בו היא ריגורוזית יותר מאי פעם - ההוכחות לא רק מדוקדקות באופן חסר תקדים לזמנו, אלא גם מבוססות על הגדרות יסודיות למושגים בסיסיים כמו נקודה וקו ישר, ועל הנחות יסוד שאין צורך להוכיחן. למעשה, בניגוד לזמננו, הנחות היסוד מחולקות לפוסטולאטים, שהם טענות הישימות רק לתחום ידע מסוים, במקרה זה מתמטיקה (לדוגמה: "דרך כל שתי נקודות אפשר להעביר קו ישר, ורק אחד") ולאקסיומות שנכונות לכל תחומי הידע ("השלם גדול מחלקו"). בספר בולט במיוחד מספרן הרב של הוכחות בדרך השלילה. בין הגילויים המופיעים בו לראשונה: ההוכחה המפורסמת לקיומם של אינסוף מספרים ראשוניים, שהתבססה על הוכחה חשובה אחרת למשפט היסודי של האריתמטיקה; ההוכחה לכך שכל מספר מהתבנית formula_8, (שבה formula_9 הוא מספר ראשוני) - הוא משוכלל; ההוכחה לכך שחמשת הגופים האפלטוניים הם הפאונים המשוכללים היחידים שניתן לבנות; ועוד משפטים חשובים רבים. זהו ספר היסוד של הגאומטריה. למעשה הגאומטריה של אוקלידס, שהייתה הגאומטריה היחידה בנמצא במשך אלפי שנים, נקראת "גאומטריה אוקלידית", כיוון שבמאה ה-19 פותחו גאומטריות לא אוקלידיות, ששוללות את הפוסטולאט החמישי: "אם שני ישרים ייחתכו על ידי ישר שלישי, באופן שסכום הזוויות הפנימיות שייווצרו באחד הצדדים קטן מסכום שתי זוויות ישרות, אזי אם יוארכו הישרים מספיק באותו צד - הם ייפגשו."
שתי אגדות על אוקלידס מתמצתות את השינוי המחשבתי האדיר שחל במתמטיקה היוונית לעומת קודמותיה. על פי האחת, אוקלידס הסביר הוכחה קשה למלך מצרים תלמי הראשון, ולאחר שסיים להסביר, שאל אותו המלך: "האם אין דרך קצרה ומהירה יותר ללמוד גאומטריה?" על כך, על פי האגדה, ענה אוקלידס: "הוד מלכותך, אין "דרך המלך [דרך קצרה]" לגאומטריה". אגדה אחרת מספרת על מתלמד ששאל אותו מהם היתרונות המעשיים בלימוד המתמטיקה. בתגובה לכך ביקש אוקלידס ממשרתו לתת לנער מטבע כסף, באומרו שהוא "חייב להרוויח מכל דבר אותו הוא לומד", ושילחו לדרכו. אגדות אלו נותנות יחס של כבוד למתמטיקה, אף שקשה להבינה ובלי קשר ליישומיה המעשיים.
בין השנים 287 - 212 לפנה"ס חי ארכימדס, שנחשב לאחד מגדולי המדענים של העת העתיקה אם לא הגדול שבהם. מלבד הישגים רבים בפיזיקה, כגון גילוי חוק ארכימדס וההצגה הראשונה של רעיון מרכז הכובד, ארכימדס תרם רבות גם למתמטיקה. הוא הגה את שיטת המיצוי, שיטה דמוית-אינטגראציה שבעזרתה ניתן לחשב שטחים ונפחים שונים. בעזרת השיטה ניתן לחשב, בהינתן הקוטר או הרדיוס, את ההיקף של מעגל (ובעקבותיו את פאי, השווה ליחס בין היקף המעגל לקוטרו), באופן הבא: נחשב את היקפם של מצולע חוסם ומצולע חסום במעגל, ומכיוון שהיקף המעגל קטן מהיקף המצולע החוסם וגדול מהיקף המצולע החסום - אפשר לחשב את היקף המעגל בכל רמת דיוק שנרצה, בעזרת הגדלת מספר צלעות המצולע. בשיטות המבוססות על העיקרון של שיטת המיצוי הוא חישב שטחים ונפחים של מצולעים ושל פאונים. הוא גם גילה ששטח העיגול שווה לפאי כפול ריבוע הרדיוס. הוא הוכיח שהשטח הכלוא על ידי פרבולה וקו ישר שווה ל-4/3 כפול שטחו של המשולש בעל גובה ובסיס שווים, ובמהלך הפתרון סיכם לראשונה את הטור גאומטרי האינסופי בעל מנה 1/4:
formula_10. בכך, כמו בשיטת המיצוי, הוא הקדים בכמה אלפי שנים את החשבון הדיפרנציאלי והאינטגרלי ואת האנליזה המתמטית שמושג הגבול ובפרט גבול של סדרה הוא בסיסי מאוד בהן.
הישגים מתמטיים נוספים אליהם הגיע ארכימדס: אומדן מדויק למדי לשורש הריבועי של 3, הוכחה שהיחס בין נפחו לבין שטח פניו של כדור שווה לשני שלישים מהיחס המקביל בגליל החוסם את הכדור, תרבוע העיגול (בשימוש באמצעי שאינו סרגל ומחוגה), ועוד. ההיסטוריון של המתמטיקה אריק טמפל בל מנה אותו כאחד משלושת המתמטיקאים הגדולים בכל הזמנים, ובוודאי הוא שייך לשורה הראשונה של המתמטיקאים בעת העתיקה בפרט ובתולדות המתמטיקה בכלל.
אחד החיבורים המתמטיים החשובים ביותר שנכתבו ביוון העתיקה הוא "קוניקות" של אפולוניוס מפרגה (כמשוער, בין 262 ל-190 לפנה"ס), שהוא חיבור מדורג ודדוקטיבי בסגנון "יסודות" של אוקלידס העוסק בחתכי חרוט, שהם: המעגל, הפרבולה, ההיפרבולה והאליפסה. הוא מכיל שמונה ספרים, מהם שבעה נשתמרו עד ימינו (ארבעה במקור היווני ושלושה בתרגום). בחיבור זה מראה לראשונה אפולוניוס שחתכי חרוט מתקבלים לא רק מחיתוך בין מישור אנכי לבין חרוט חד-זווית, ישר-זווית או קהה-זווית - אלא כולם יכולים להתקבל מחרוט אחד אם נשנה את זווית החיתוך. כנראה בשל איכותו ותרומתו, לא נותר עוד זכר כמעט לחיבורים אחרים על חתכי חרוט מהתקופה שלפני ה"קוניקות".