A hazájában addig ismeretlen Nurmi elsőként az 1920. évi nyári olimpiai játékokon szerepelt a finn csapatban. Első napján 1920. augusztus 17-én 5000 méteres távon állt rajthoz. Gyors kezdéssel igyekezett a többi futót rögtön az első szakaszban lerázni, de a francia Joseph Guillemot végig bírta az iramot, és a hajrában győzött. Ezt a vereséget Nurmi élete legkeserűbb vereségeként könyvelte el. Ez volt az egyedüli alkalom, hogy Nurmi nem finn futóval szemben maradt alul az olimpiai játékokon. Két nappal később aztán a távon Nurmi jobb taktikával legyőzte Guillemot-t, és megszerezte élete első olimpiai aranyérmét 31:45,8-as időeredménnyel. Ismét két nap múlva a 8 kilométeres terepfutás került sorra, amikor a kezdettől fogva vezető Guillemot 6 kilométer után kifáradva kiállt, majd a végső küzdelemben Nurmi 0,6 másodperc előnnyel nyert a svéd Erik Backman előtt. A terepfutásban a Paavo Nurmi, Heikki Liimatainen és Teodor Koskenniemi összetételű finn csapat legyőzte a brit és svéd csapatokat. Nurmi sikere a család számára azt jelentette, hogy a lakásukban lett villamos áram és folyóvíz. Az olimpia után Nurmi Helsinkibe költözött, ahol ösztöndíjjal elvégezte a Teollisuuskoulu ipari iskolát.