门第，吴家亦是当地望族，其父曾师从吴兰荪学习古琴。吴钊是家里的长子，有一个弟弟和三个妹妹，惟幼弟早夭。幼年时，他曾接受父亲家的传统私塾和母亲家更为推崇教会学校的教育。后来搬家到北京读中学。1953年师从查阜西学习古琴，并结识了一些当时北京的音乐界名流如李廷松、蒋凤之、潘怀素等。1955年进入南开大学攻读历史，并由査阜西推荐、师从当时在天津中央音乐学院的吴景略继续学习古琴。四年后毕业，进入北京的中央音乐学院民族音乐研究所，师从杨荫浏学习中国音乐史。1964年决定出版第一部着作《中国古代音乐小史》，书尚未发