米尔克在1930年5月22日生于纽约州长岛Woodmere，父亲是威廉.米尔克，母亲是米那娃·米尔克，双亲都是来自欧洲的犹太人。小的时候，因为哈维的招风耳与一双大脚，还有常常在学校耍宝，众人常常戏弄调侃他。在求学时期，哈维除了玩美式橄榄球以外，也产生了对歌剧的热爱。在青少年时期的他，就已经认同自己的同性恋倾向，但并未出柜。在毕业纪念册中，他自己写到: "大家都说，机灵的哈维.米尔克与女生从来就不会辞穷的时候"。在1947年到1951年，米尔克到纽约州奥尔巴尼就读纽约州立师范学院，主修数学，哈维也帮校报撰