Binghamton, New York
하더웨이는 에디 골든과 페이 하더웨이의 아들이다. 이름 앤퍼니는 그의 모친의 학교 동창의 것이었다. 1974년 모친이 오클랜드에서 일하는 데 멤피스를 떠날 때 그녀는 아들을 그의 조모 루이즈에게 맡겼다. 그의 별명은 "Penny" 같은 소리에 남부 사투리와 함께 조모가 그에게 "Pretty"라고 부른 결과로서 왔다. 하더웨이의 첫 흥미는 미식축구였으나 조모가 그를 다치지 않기를 원하였다. 그는 멤피스에 있는 산탄층 주택의 빙엄턴 이웃에서 자라왔다. 10대로서 하더웨이는 멤피스 YMCA에서 청소년 스포츠에 귀착시키고 멤피스 YMCA의 주니어 올림픽 농구 팀에 활약하였다.