外婆位于吉林路吉林国小附近的住宅。其父一度离家出走，当时各路债主跑到谢家冷嘲热讽、扯开喉咙骂谢家祖先，全靠其母承受，才搬到吉林路。几个月后，其父在基隆被发现，被亲戚劝回家。为了还清债务，谢家全家出动，父亲继续当汉医师；母亲帮人作衣服种菜，谢长廷则卖冰棒和碗粿，到打铁街捡废铁、铜，人家丢掉不要的锁、铁钉去卖。初中时，谢长廷考入他填的第一志愿成功中学，后就读台北商职（今日台北商业大学），期间曾是体操选手，得过中上运动会金牌、省运铜牌，原本想以参加奥林匹克运动会为目标，但在看过小野乔的纪录片后，自认台湾的体育水准