קרל פרידריך גאוס
הישגיו של גאוס > סטטיסטיקה

הטיפול בתצפיות עם שגיאות העסיק את גאוס לראשונה בשנים 1794–1795. מאוחר יותר, עבודתו על בעיות אסטרונומיות אילצה את גאוס בעל כורחו להתעסק עם בעיות סטטיסטיות הקשורות במזעור השפעת שגיאות המדידה על תוצאות החיזוי של תהליכי חישוב אסטרונומיים. בספרו על אסטרונומיה מ-1809, גאוס תיאר לראשונה באופן מלא את ההתפלגות הנורמלית. גאוס בספרו תיאר את שיטת הריבועים הפחותים ושיטת אמידת נראות מרבית, שתיהן שיטות יסודיות ביותר המשמשות רבות בסטטיסטיקה, ועשה בהן שימוש על מנת לנתח נתוני מדידות אסטרונומיות שלעיתים סתרו זו את זו. כדי לאמוד את השגיאה של המדידות, גאוס בחר להניח כי הממוצע האריתמטי הוא הערך שממזער את שגיאת המדידה. כלומר, המדידה שמרחקה מן הממוצע האריתמטי הוא המזערי, היא בהסתברות גבוהה הקרובה ביותר לערכים האמתיים. תחת הנחה זו הוא חישב ומצא כי ההתפלגות הנורמלית מתארת את שגיאת המדידה, וסיפק נוסחה של ההתפלגות הנורמלית הסטנדרטית.
מאוחר יותר, גאוס עשה שימוש בכלים הסטטיסטיים שפיתח במסגרת המדידות הגאודטיות שביצע, ואחת מתרומותיו לגאודזיה הניסויית היא זיהוי השגיאות השיטתיות העיקריות במדידת זוויות, כשלאחר מכן הוא הציע אמצעים להעלים את השפעתן. ענף הגאודזיה והמדידה של צורת כדור הארץ היה אזור נוח במיוחד ליישום הכלים החדשים של הסטטיסטיקה אותם פיתח, וזהו היה התחום אשר בו מצא גאוס את אחד היישומים הפוריים והעשירים ביותר של שיטת הריבועים הפחותים שלו, וכתוצאה הוא פרסם את חיבורו "תאוריה של תחשיב התצפיות המושפע באופן מינימלי משגיאות", שפורסם בשלושה חלקים במהלך השנים 1823-1826 ובו דן בקלקולוס התצפיות באופן מעמיק. בחיבור זה גאוס פרסם הצדקה חדשה ואיתנה יותר לשיטת הריבועים הפחותים; הוא הוכיח ששיטת הריבועים הפחותים מניבה את האומד חסר ההטיה הליניארי הטוב ביותר, במובן שהשונות שלו היא הנמוכה ביותר מבין כל האומדים הליניאריים חסרי ההטיה. תוצאה יסודית זאת, שנחשבת לאבן הפינה באנליזה המודרנית של רגרסיה, נודעה כמשפט גאוס-מרקוב.
בחיבור זה, שהיה לא מוכר יחסית בעולם דובר האנגלית במהלך המאה שלאחר פרסומו, ישנם פיתוחים רבים מעניינים מאוד: גאוס הציג והוכיח את אי-שוויון גאוס (שהוא אי-שוויון מטיפוס צ'בישב), כמו גם אי שוויון על מומנטים מסדר רביעי של שגיאות (Gauss-Winkler inequallity). במאמרים 38–40 של החיבור, גאוס גזר חסם עליון ותחתון לתחום הערכים בו עשויה להימצא השונות של אומדן השונות המדגמית. מאוחר יותר, המתמטיקאי הרוסי אנדריי קולמוגורוב גילה שהחסם התחתון של גאוס שגוי, וב-1947 פרסם נוסחה מתוקנת. באותו חיבור גאוס גם הציג תהליכים איטרטיביים (שתוארו על ידי דדקינד), ופיתח שיטות ריבועים פחותים רקורסיביות (אנ') אשר נתגלו מחדש רק ב-1950 על ידי Plackett, כך שהם נחקרו לראשונה לעומק רק לאחרונה.
במאמרו מ-1816 על הדיוק של אומדים סטטיסטיים, גאוס העריך את הדיוק של אומדים של הנעלמים של מערכת משוואות ליניאריות, ושל פונקציות ליניאריות של אלו. הוא הוכיח בו שבעבור סדרת שגיאות מפולגת נורמלית  e_{i}, המדד לדיוק  h={\frac {1}{\sqrt {2\sigma }}} נאמד בצורה הטובה ביותר על ידי
 (e_{1}^{2}+e_{2}^{2}+\cdots +e_{n}^{2}) מאשר על ידי
 (\left\vert e_{1}\right\vert ^{k}+\left\vert e_{2}\right\vert ^{k}+\cdots +\left\vert e_{n}\right\vert ^{k}) בעבור k שונה מ-2.
זה היה בקונטקסט של עבודתו הנרחבת בעיבוד סטטיסטי של תוצאות מדידות וחישובים אסטרונומיים וגאודטיים שהוא פיתח את הטכניקות הרבות באלגברה ליניארית הנושאות את שמו; הכמויות העצומות של נתונים איתן נאלץ לעבוד כדרך קבע הובילו באופן טבעי למשוואות ליניאריות בנעלמים רבים. בין היתר הציג במאמר 182 של ספרו על אסטרונומיה מ-1809 את תהליך גרם-שמידט, ופירק באמצעותו מטריצה A למכפלת מטריצה אורתוגונלית Q ומטריצה משולשית עליונה R – שיטה שנקראת כיום פירוק QR. בנספח לחיבורו מ-1823 על סטטיסטיקה, הוא תיאר את פירוק שולסקי.
את העיסוק של גאוס במתמטיקה אקטוארית ניתן לפרש כאחד היישומים של עבודתו בסטטיסטיקה. במשך מספר שנים הוא ניהל את קרנות הפנסיה של אלמנות הפרופסורים באוניברסיטת גטינגן, ונעזר בנתוני תמותה מפורטים כדי לבצע את החישובים שלו. התוצרים של פרויקט זה - מספר מאמרים מ-1845 שעוסקים בהיבטים שונים של מתמטיקה פיננסית, היוו הדגמה מופתית ליישום של תורת ההסתברות לאנליזה של בעיות כלכליות.