I 1885 fikk Rodgers skarlagensfeber som gjorde ham døv på det ene øret og nedsatt hørsel på det andre, noe som effektivt forhindret ham i å følge familietradisjonen med maritim karriere. Han fikk sin utdannelse først hjemme og så på Mercersburg Academy. I 1902 ble Rodgers med sin mor og søster til New York City. Han ble medlem av New York Yacht Club, og i tillegg båtliv kjørte han motorsykler og biler. I 1906 giftet han seg med Mabel Avis Graver. De fikk ingen barn. Rodgers bodde i Havre de Grace, Maryland.