Rodgers ble født den 12. januar 1879 i Pittsburgh, Pennsylvania til Calbraith Perry Rodgers og Maria Chamber Rodgers. Hans far, en kaptein, døde den 23. august 1878 før hans fødsel. Blant sine forfedre hadde Rodgers kommandør John Rodgers, som var hans farfar, Oliver Hazard Perry, hans mors oldefar, og Matteus Calbraith Perry, hans bestefars bror. Han var fetter til John Rodgers, en marineflyver, en pioner kjent for å satt rekord for lengste non-stop flyging med sjøfly i 1922, 3 206 km i et forsøk på å fly fra San Francisco til Honolulu i 1925.