幼年时，他曾接受父亲家的传统私塾和母亲家更为推崇教会学校的教育。后来搬家到北京读中学。1953年师从查阜西学习古琴，并结识了一些当时北京的音乐界名流如李廷松、蒋凤之、潘怀素等。1955年进入南开大学攻读历史，并由査阜西推荐、师从当时在天津中央音乐学院的吴景略继续学习古琴。四年后毕业，进入北京的中央音乐学院民族音乐研究所，师从杨荫浏学习中国音乐史。1964年决定出版第一部着作《中国古代音乐小史》，书尚未发行时文化大革命爆发，査阜西、吴景略、杨荫浏皆被下牛棚。而吴钊独免，只得下乡劳动了之。而他并没有随身携带