北市太平町的一个贫穷家庭；他是家中第五个诞生的孩子，他的手足因家贫被陆续送人抚养，最后只剩下二哥与他。他的父亲在大稻埕码头当过渔夫及船员，但因长期酗酒并嗜好赌博导致其家庭被迫四处搬迁。1947年，谢家搬到位在台北圆环附近的林本源博爱医院，并定居在其中面积不到五坪的储物间。随后，谢雷进入太平国小就读；他的母亲则在建成市场附近摆摊卖草药与凉茶。因为家中当时仍持续积欠债务，谢雷开始积极寻思赚钱的方法。此外，谢雷经常在放学回家后收听广播并跟着哼唱，也对美空云雀感到崇拜。1953年，他在小学毕业后考入松山初级