Seluruh negara Komite Olimpiade Internasional mengikuti Olimpiade Athena 2004. Dua negara yang melakukan debut pertamanya di olimpiade ini adalah Timor Leste dan Kiribati. Afghanistan kembali mengikuti olimpiade (terakhir pada Olimpiade Atlanta 1996. Yugoslavia berganti nama dan kode, dari YUG menjadi SCG. Total peserta dalam olimpiade kali ini adalah 202 negara.
Afghanistan tidak mengikuti Olimpiade Athena 2004.