什么名字时，她回答“安东尼”（Anthony），而医生却却阴差阳错地把安东尼听成了“安芬尼”（Anfernee），于是安芬尼便成为了哈达威的名字。哈达威的家庭处于社会的中下层，生活艰苦。年幼的哈达威没有得到过父母太多的照顾。他的母亲在1974年离开孟菲斯前往奥克兰追求她的歌星梦，临走前虽然想将哈德威一起带走，但是遭到了外祖母露易丝·哈达威（Louise Hardaway）极力反对。此后哈德威便和外祖母住在孟菲斯一个贫民区的单人房里相依为命。外祖母经常叫他「Pretty」，但是由于她的南方人口音，被人误听