1962年之间，他与赛门以「汤姆与杰瑞」合唱团（英语：Tom & Jerry）的名义一起演出，偶尔会在学校舞会上表演。1957年，他们的单曲《"Hey, Schoolgirl"》打上美国流行曲排行榜第49位。1963年，葛芬柯和赛门改变乐团的名字为「赛门与葛芬柯」，正式出道。1964年10月，哥伦比亚唱片为他们发行了第一张专辑《週三早上，凌晨3点》（Wednesday Morning, 3A.M.），专辑没有多大成功，导致保罗·赛门的短暂离队。后来单曲《寂静之声》（"The Sound of Silence