Milk opiskeli New York State College for Teachers -yliopistossa Albanyssa (nykyinen Albanyn yliopisto) vuosina 1947–1951 pääaineenaan matematiikka. Hän kirjoitti yliopiston lehteen ja sai mainetta seurallisena ja ystävällisenä opiskelijana. Yksikään hänen ystävistään lukiossa tai yliopistossa ei koskaan epäillyt hänen olevan homo. Eräs luokkatoveri muisti, että ”Häntä ei koskaan pidetty mahdollisena queerina – siksi niitä silloin kutsuttiin – hän oli miehinen mies”. Valmistuttuaan Milk liittyi Yhdysvaltain laivastoon Korean sodan aikaan. Hän palveli sukelluspelastusvene USS "Kittiwakella" sukeltajana. Myöhemmin hän siirtyi San Diegon laivastotukikohtaan sukellusopettajaksi. Vuonna 1955 hänet vapautettiin laivastosta luutnanttina ().