Frank Parker war das zweite von vier Kindern von Arthur Middleton Parker und dessen Ehefrau Emma Izard Middleton Parker. Sein jüngster Bruder Ralph Middleton Parker diente als Oberst in der Kavallerie und wurde nach seinem Tode auf dem Nationalfriedhof Arlington beigesetzt. Er war ein Nachfahre der John Parker, John Rutledge sowie Arthur Middleton und Thomas Heyward, zwei Unterzeichner der Unabhängigkeitserklärung und damit Gründerväter der Vereinigten Staaten. Nach dem Schulbesuch begann er zunächst ein Studium an der University of South Carolina und schloss sich der akademischen Gesellschaft "Phi Kappa Psi" an.