אחרי שהחליטו להחיות את המשחקים האולימפיים, היה צריך להחליט היכן הם ייערכו. דה קוברטן חשב לערוך את האולימפיאדה יחד עם התערוכה העולמית שתוכננה לשנת 1900 בפריז, אך מחשש לתחרות על תשומת הלב בין שני האירועים, הוחלט שלא להמתין למועד התערוכה, ולהקדים את חידוש המשחקים לשנת 1896. כמה חברי קונגרס הציעו את לונדון בתור עיר מארחת, אבל אחרי שיחות קצרות עם היווני דמטריוס ויקלאס, הועדפה אתונה בתור העיר המארחת. יוון, שהייתה המקור ההיסטורי של המשחקים האולימפיים, קיבלה את הסכמתם של כל חברי הקונגרס, ונבחרה למדינה המארחת. ויקלאס, נבחר באותה הזדמנות לנשיא הראשון של הוועד האולימפי הבינלאומי.