Phil Perlo ses på som en av de beste spillerne fra storbyområdet Washington, D.C. Som senior på skolelaget til Theodore Roosevelt High School ledet Perlo, som quarterback og linebacker, laget til en bytittel. Han var den eneste jødiske spilleren som ble rekruttert av University of Marylands Jim Tatum og var startende linebacker og fullback på laget som nådde Orange Bowl i 1956.