Milk tjenestegjorde som løytnant i den amerikanske marinen under Koreakrigen om bord på ubåtredningsskipet USS «Kittiwake» (ASR-13). Milk er en av tjenestemennene i den amerikanske marinen som ble råket av forbudet mot homofile og bifile i det amerikanske militæret før «don't ask, don't tell» trådte i kraft. Han trakk seg fra marinen i 1955 med det som kalles en «avskjed i unåde». Milk trakk seg for ikke å bli stilt for krigsrett som homofil. I 2021 oppkalte den amerikanske marinen skipet USNS «Harvey Milk» (T-A0-206) etter Milk, for å hedre han.