Frey besuchte ab 1933 das Benediktinergymnasium Ettal und schloss 1940 mit dem Abitur ab. Nach kurzem Reichsarbeitsdienst wurde er zum Heer an der Ostfront eingezogen. Nach der Kesselschlacht von Jassy-Kischinew in Rumänien schlug der junge Leutnant sich mit durchschossener Hand zu den deutschen Linien durch. Zuhause ermittelte die Gestapo gegen ihn wegen seiner Verbindung zur Familie von Franz Sperr, der wegen Mitwisserschaft am Attentat vom 20. Juli 1944 hingerichtet wurde. Frey diente bis Kriegsende weiter als Soldat und kam in Kriegsgefangenschaft. Frey war seit 1947 Mitglied der katholischen Studentenverbindung KDStV Trifels München im Cartellverband der katholischen deutschen Studentenverbindungen.