Som så mye rundt Pytagoras er også oppdagelsen av harmoniske forhold omgitt av fantasifulle fortellinger. Nikomakhos fra Gerasa beretter at Pytagoras en gang gikk forbi en smie og hørte da klangen fra hammere som slo mot metall. Lyden fra de fleste slagene var i full harmoni med hverandre, men også disharmonisk lyd forekom. I harmoniene skal Pytagoras ha identifisert intervaller som oktav, kvart og kvint, og han skal ha registrert at kvarten og kvinten sammen laget disharmoni. Han løp inn i smien, og der inne gjennomførte han en rekke eksperimenter. Disse viste at det ikke var styrken i slagene eller hammerformen, men forholdet mellom hammervekt som skapte harmoniene. Etter den grunnleggende oppdagelsen skal Pytagoras ha utviklet det som ble det klassiske greske tonale systemet, med skalaer og akkorder. Grunnleggende var tetrakorden, en gruppe av fire tonehøyder med kvart-intervaller i mellom. Forholdet mellom de fire første tallene (1 : 2 : 3 : 4) skal Pytagoras ha kalt («fire-het»), og i forholdet 1:2 fant han oktaven, i 2:3 kvinten og i 3:4 kvarten. ble for pytagoreerne en hemmelig nøkkel for å forstå verden og kosmos. Dette forholdet mente de å se ikke bare i musikk, men overalt i naturen. I en innvielsesseremoni skal pytagoreerne ha sverget troskap til Pytagoras, oppdageren av .