主要以採矿为生。父亲罗伯特·费希尔叫（Robert Fisher），母亲叫简·加文（Jane Garvin），安德鲁·费希尔是父母的八个孩子中的老二。费希尔出身贫苦矿工村落，10岁成为煤矿童工，每天工作12小时后再步行4公里去夜校上课，课余在村中的合作社图书室阅读，17岁成为当地矿工工会支部书记，1881年因组织罢工被辞退，1885年在另一矿场再次组织罢工，被辞退并被当地煤矿列入黑名单。费希尔和他的兄弟因此远赴昆士兰寻找机会，先后任职矿工和矿井机械操作工人，并继续在工会中活跃。1891年费希尔成为工