توماس بيرديتش
دخل فيدرير دورة الألعاب الأولمبية الصيفية 2004 المقامة في آثينا باعتباره المصنف الأول، وكان يعتبر من أبرز المرشحين للفوز بالميدالية الذهبية الأولمبية في فردي الرجال. في الدور الأول تقابل فيدرير مع اللاعب الروسي نيكولاي دافيدينكو، وبالرغم من خسارة مجموعة إلا أن فيدرير حسم اللقاء بثلاث مجموعات وبواقع 6–3، 5–7، 6–1. في الدور الثاني كان خصم فيدرير هو اللاعب التشيكي الشاب والمصنف السادس عالمياً في المستقبل توماس بيرديتش، بعد فوز فيدرير بالمجموعة الأولى، تمكن الشاب التشيكي من القبض على المباراة وهزيمة بطل العالم بمجموعتين لواحدة 6–4، 5–7، 5–7. كانت هذه الخسارة هي الأخيرة للمصنف الأول عالمياً هذا الموسم.