Paul Simon vokste opp i Queens i New York. Han møtte Art Garfunkel da begge var elleve år. De begynte å synge sammen da de var 13 år. Iblant opptrådte de ved tilstelninger på skolen. Deres idoler var The Everly Brothers, som de imiterte i sine tostemte harmonier. Paul Simon utviklet også en interesse for jazz, folk og blues; spesielt i musikken til Woody Guthrie og Lead Belly. Han begynte å opptre sammen med skolekameraten Art Garfunkel i 1956 da de begge var tidlig i tenårene. De oppførte en versjon av ved avslutningen i sjetteklasse. I 1957 spilte de inn sangen «Hey, Schoolgirl» som "Tom & Jerry", et navn som ble gitt av plateselskapet deres, Big Records. Singelen klatret til nummer 49 på Pop Charts.