Frederick Rooker var sønn av avisen New York Tribunes redaktør Myron Holley Rooker, gift med Margaret Coleman. Som gutt gikk han på offentlig skole i Albany i delstaten New York. Senere studerte han sivilingeniørfag og latin ved Union College i Schenectady i New York.