אחרי שהחליטו להחיות את המשחקים האולימפיים, היה צריך להחליט היכן הם ייערכו. דה קוברטן חשב לערוך את האולימפיאדה יחד עם התערוכה העולמית שתוכננה לשנת 1900 בפריז, אך מחשש לתחרות על תשומת הלב בין שני האירועים, הוחלט שלא להמתין למועד התערוכה, ולהקדים את חידוש המשחקים לשנת 1896. כמה חברי קונגרס הציעו את לונדון בתור עיר מארחת, אבל אחרי שיחות קצרות עם היווני דמטריוס ויקלאס, הועדפה אתונה בתור העיר המארחת. יוון, שהייתה המקור ההיסטורי של המשחקים האולימפיים, קיבלה את הסכמתם של כל חברי הקונגרס, ונבחרה למדינה המארחת. ויקלאס, נבחר באותה הזדמנות לנשיא הראשון של הוועד האולימפי הבינלאומי.
ארגון.
החדשות כי המשחקים האולימפיים החדשים עומדים להתקיים ביוון, התקבלו באהדה רבה בקרב הציבור והתקשורת היווניים. עם זאת, יוון הייתה נתונה, באותה עת, בקשיים כלכליים גדולים ובחוסר יציבות פוליטית (תפקיד ראש הממשלה עבר ברוטציה בין חרילאוס טריקופיס ובין תיאודורוס דליגיניס). בסוף שנת 1894, הגישה הוועדה המארגנת של המשחקים בראשות אטינה סקולודיס דין וחשבון שאמד את עלות המשחקים בפי שלושה מאומדנו המוקדם של דה קוברטן. הוועדה הסיקה שהמשחקים לא יוכלו להתקיים, ואף הגישה את התפטרותה.
קונסטנטין נסיך הכתר היווני, שהיה תומך נלהב של המשחקים, החליט להרכיב ועדת ארגון חדשה, והוא עצמו שימש כנשיאה. התלהבותו של קונסטנטין גרמה לעם היווני לתרום למשחקים 330,000 דרכמות. הוצאת מהדורה מיוחדת של בולי דואר תרמה עוד 400,000 דרכמות להכנסות ומכירת הכרטיסים הוסיפה 200,000 דרכמות לקופת המשחקים. לפי בקשתו של קונסטנטין, איש העסקים האמיד ג'ורג' אברוף, מימן את שיפוץ אצטדיון פאנאתינאיקו, שיפוץ שעלה 920,000 דרכמות. בתמורה לנדיבותו ניצב פסל של אברוף בכניסה לאצטדיון.
ארגון אירועי ספורט היה תחום חדש ביוון ועל כן, נתקלה הוועדה המארגנת בקשיים. חלק נכבד ממשימות הוועדה עבר לידיו של דה קוברטן, שקבע את הדרך שבה נקבעו חוקי המשחקים והתחרויות ואף עסק בהזמנת ספורטאים למשחקים. חלק מהספורטאים שהשתתפו באולימפיאדה עשו זאת משום שהם שהו באתונה בזמן קיום המשחקים. חלקם במסגרת עבודתם וחלקם היו בחופשה בעיר (לדוגמה, חלק מהספורטאים הבריטיים עבדו בשגרירות בריטניה בעיר והחליטו להשתתף בתחרויות). הרעיון של הכפר האולימפי לא היה קיים עד אולימפיאדת לוס אנג'לס (1932), והאתלטים היו צריכים לדאוג בעצמם למקומות לינה.
טקס הפתיחה.
ב-6 באפריל 1896, נפתחו המשחקים האולימפיים הראשונים בעת החדשה באופן רשמי. היה זה היום הראשון שאחרי חג הפסחא, ויום השנה לפרוץ מלחמת העצמאות היוונית.
אצטדיון פאנאתינאיקו היה מלא, ו-80,000 צופים צפו בגאורגיוס הראשון, מלך יוון, באשתו אולגה ובבניו. רוב הספורטאים המשתתפים עמדו על דשא האצטדיון, מחולקים למדינות שייצגו. אחרי הנאום של נשיא הוועדה המארגנת, הנסיך קונסטנטין הראשון, נפתחו המשחקים.
לאחר מכן, תשע להקות ו-150 זמרי מקהלה ניגנו ושרו את ההמנון האולימפי שכתב קוסטיס פאלמאס והלחין ספירוס סמאראס.
טקס הפתיחה הנוכחי של המשחקים האולימפיים כולל עדיין מספר מרכיבים מטקס הפתיחה הראשון. נשיא הוועדה המארגנת של המשחקים עדיין אחראי על פתיחת המשחקים באופן רשמי, וההמנון האולימפי עדיין מושמע. שאר האלמנטים, כמו הצגת הספורטאים, הדלקת הלפיד האולימפי והשבועה האולימפית נוספו מאוחר יותר.
סקירה כללית על מקצועות הספורט.
בקונגרס 1894 שנערך באוניברסיטת סורבון בפריז, הוזכרו מקצועות ספורט רבים שייערכו במשחקים האולימפיים באתונה. בהודעה הרשמית הראשונה של הוועד האולימפי הוחלט שמקצועות הכדורגל והקריקט ייכללו במשחקים האולימפיים, החלטה שבסופו של דבר לא יצאה אל הפועל. גם תחרות החתירה הייתה מתוכננת, אבל בוטלה בשל רוחות חזקות ביום שבו הייתה אמורה להתקיים. מקצוע נוסף שהיה מתוכנן אך בוטל היה שיט.
אתלטיקה.
מבין כל תשעת הענפים שבהם התקיימו תחרויות, הייתה האתלטיקה הענף שבו השתתפו ספורטאים ממדינות רבות ביותר. כל מקצועות האתלטיקה נערכו באצטדיון פאנאתינאיקו, למעט ריצת המרתון שרק הסתיימה באצטדיון זה. אירוע השיא באתלטיקה היה ריצת המרתון שנערכה בפעם הראשונה בתחרות בינלאומית. ספירידון לואיס ניצח בריצה זו והפך לאלוף היווני היחיד באתלטיקה ולגיבור לאומי. באולימפיאדה זו לא נשברו שיאי עולם, ומספר רב של אתלטים שהיו שייכים לצמרת העולמית לא הגיעו לתחרויות. בנוסף, הקשת במסלול הריצה הייתה צרה מדי, דבר שהקשה על השגת תוצאות מהירות. האלוף האולימפי הראשון היה ג'יימס קונולי מארצות הברית, שזכה במדליית זהב בקפיצה משולשת.
אופניים.
רוב מרוצי האופניים נערכו במתחם המרוצים החדש שנבנה, ולודרום נאו פאלירון. רק מרוץ אחד נערך על כביש, מאתונה למרתון וחזרה (87 קילומטר), וניצח בו היווני אריסטידיס קונסטנטינידיס.
הצרפתי פול מאסון היה רוכב האופניים הטוב ביותר באולימפיאדה, כאשר זכה בשלוש מדליות זהב (מרוץ נגד השעון ל-333 מטר, מאוץ לשני קילומטר ומרוץ ל-10 קילומטר). במקצה ל-100 קילומטר, מאסון השתתף כמכתיב קצב לבן ארצו, לאון פלמאנג. פלמאנג ניצח באותו מקצה, אחרי שנפל מאופניו ואחרי שעצר לחכות לרוכב היווני קולטיס שלאופניו הייתה בעיה טכנית. הסייף האוסטרי אדולף שמאל ניצח במרוץ ה-12 שעות, מרוץ אותו סיימו שני רוכבים בלבד.
היאבקות.
תחרות ההיאבקות האולימפית, שהתקיימה באצטדיון פאנאתינאיקו, לא כללה סיווגים לפי משקלים, ולכן בתחרות זכה רק אדם אחד. החוקים היו דומים מאוד להיאבקות היוונית-רומית של היום, אף על פי שמספר חוקים אשר קיימים היום, לא היו קיימים באותה עת כגון: הגבלת זמן ואיסור לפיתת רגלי היריב.
חוץ מהמתאבקים היוונים, כל המתאבקים באולימפיאדה השתתפו גם במקצועות נוספים כמו הרמת משקולות והתעמלות. קרב הגמר נערך בין קארל שומאן לבין גאורגיוס טסיטאס, הופסק לאחר 40 דקות של היאבקות, כיוון שירדה חשכה על האצטדיון. הקרב נמשך ביום המחרת ולאחר כרבע שעה, ניצח הגרמני שומאן במאבק וזכה במדליית הזהב.
הרמת משקולות.
מקצוע הרמת משקולות היה עדיין צעיר מאוד ב-1896, וחוקיו היו שונים מהחוקים הנהוגים היום. התחרויות נערכו בחוץ, בשדה הפנימי של אצטדיון פאנאתינאיקו, והייתה קבוצת משקל אחת לכל המתחרים.
התחרות הראשונה שנערכה במסגרת הרמת המשקולות, הייתה תחרות הרמת משקולות בשתי ידיים בסגנון הדחיקה. שני משתתפים בלטו מעל כולם: הסקוטי לונסטון אליוט וויגו ינסן מדנמרק. שניהם הרימו את אותו המשקל, אבל צוות השופטים, יחד עם הנסיך ג'ורג' כיושב-ראש, החליטו שינסן עשה זאת טוב יותר ולכן זכאי למדליית הזהב. המשלחת הבריטית, לא הכירה את החוק שובר השוויון, ולכן, הגישה ערעור. שני המתחרים ניסו שוב להרים משקל שיכריע את התחרות - אך כשלו, וינסן הדני הוכרז באופן סופי כאלוף האולימפי במקצוע זה.
אליוט נקם את נקמתו במקצוע השני, הרמת משקולות ביד אחת בסגנון ההנפה, מקצוע שנערך מיד לאחר הרמת המשקולות בשתי ידיים. ינסן, שנפצע בצורה קלה בניסיונו האחרון בהרמת המשקולות בשתי ידיים, לא היה יריב ראוי לאליוט, שזכה בקלות במדליית הזהב.
התעמלות.
תחרויות ההתעמלות המכשירים נערכו בשדה הפנימי של אצטדיון פאנאתינאיקו. גרמניה, אשר שלחה קבוצה בת 11 מתעמלים, שלטה בתחרויות וזכתה בחמש מדליות זהב, כולל זכייה בשתי התחרויות הקבוצתיות. בתחרות הקבוצתית במתח זכתה הנבחרת הגרמנית ללא מתחרים. הגרמנים זכו שלוש פעמים נוספות גם במקצועות היחידים: הרמן ויינגרטנר, זכה בתחרות המתח ליחידים, אלפרד פלאטו (יהודי במוצאו) זכה בתחרות המקבילים ליחידים וקארל שומאן, שגם השתתף בהצלחה בתחרויות ההיאבקות, זכה בתחרות סוס הקפיצות.
במקצועות הנותרים זכו: לואיס צוטר השווייצרי זכה בתחרות על סוס הסמוכות), יואניס מיטרופולוס היווני זכה בתחרות על הטבעות) וניקולאוס אנדריאקופולוס היווני זכה בתחרות הטיפוס על חבל (לגובה של 14 מטר).
טניס.
אף על פי שהטניס היה מקצוע ספורט עיקרי בסוף המאה ה-19, אף אחד מהטניסאים הבכירים בעולם לא הגיע למשחקים האולימפיים באתונה שנערכו במדשאה של מועדון הטניס של אתונה ובשדה הפנימי של אצטדיון הוולודרום.
האירי ג'ון פיוס בולאנד, שהגיע לאתונה לחופשה בזמן חג הפסחא, נכנס לתחרות הטניס בעזרת חברו היווני וזכה בקלות יחסית במדליית הזהב. הוא הביס בסיבוב הראשון את פרידריך טראון, גרמני שהשתתף גם בריצת ה-800 מטר. השניים החליטו להתחרות יחד בטורניר הזוגות, ובסופו זכו במדליית הזהב.
סיף.
תחרויות הסיף נערכו בבניין הזפיון, שנקרא על שמו של אוונגלוס זאפאס, האיש שייסד את המשחקים האולימפיים היווניים באמצע המאה ה-19. שלא כמו במקצועות אחרים, הותר לספורטאים מקצוענים להשתתף בתחרויות הסיף, שכן הסייפים המקצוענים נחשבו כג'נטלמנים ובהיותם כאלה, מעמדם היה כשל ספורטאים חובבנים.
ארבע תחרויות סיף היו אמורות להתקיים, אולם התחרות בדקר בוטלה (סיבת הביטול אינה ידועה). לאונידס פירגוס, שזכה בתחרות הרומח למאסטרים, היה ליווני הראשון בעת החדשה שהפך לאלוף אולימפי. בן ארצו, יואניס גאורגיאדיס זכה בתחרות החרב והצרפתי אז'ן-אנרי גרוולוט זכה בתחרות הרומח.
קליעה.
חמש תחרויות קליעה נערכו במשחקים - שתי תחרויות ברובה ושלוש תחרויות באקדח. כל התחרויות נערכו בקליתאה, יישוב באזור אתונה.
התחרות הראשונה הייתה ירי ברובה צבאי, ממרחק של למעלה מ-200 מטר. בתחרות זכה היווני פנטליס קרסבדאס, המשתתף היחיד שקלע למטרה בכל היריות שלו. התחרות השנייה הייתה ירי באקדח צבאי, ממרחק של 25 מטרים. בתחרות בלטו האחים האמריקאים, ג'ון וסאמנר פיין, שבסופה ניצח ג'ון. בתחרות השלישית, ירי חופשי באקדח, זכה בקלות האח השני, סאמנר.