谢家搬到位在台北圆环附近的林本源博爱医院，并定居在其中面积不到五坪的储物间。随后，谢雷进入太平国小就读；他的母亲则在建成市场附近摆摊卖草药与凉茶。因为家中当时仍持续积欠债务，谢雷开始积极寻思赚钱的方法。此外，谢雷经常在放学回家后收听广播并跟着哼唱，也对美空云雀感到崇拜。1953年，他在小学毕业后考入松山初级商业学校。1956年，他考入育达初级商业学校，并在其间学习声乐；但是，因为家中经济压力加剧，他在不到一年后即被迫办理休学，返回家中帮忙母亲摆摊卖草药与凉茶。1959年，他入伍从军并被分发至台南宪兵