亲则为一名车衣女工。而他童年时主要玩乒乓球或何仔公（何济公）游戏。又会看《小流氓》公仔书和与小学同学在彩虹邨金华楼楼下的报摊买林世荣的着作《虎鹤双形拳》来练习功夫。谢君豪的读书成绩中等。他毕业于邨内的陶庵幼稚园以及圣公会静山小学（1977年），后于九龙土瓜湾新亚中学读书，读至1982年中五毕业后因为在香港中学会考中未能取得足够分数回到原校就读。所以便转到培侨中学读书，为时一年。之后再转到当时位于红磡鹤园街的五育中学完成中七预科课程。他在校时因参与了学校的戏剧日比赛而培养了演戏的兴趣。当时他演出的角色为剧作家