физматов в 5-6 классах практически нет, физика  обычно в 7 только начинается.  Так что  я думаю, что слово "физмат" было использовано как  обобщенное название всех классов и школ с углубленным изучением математики и, возможно, чего-нибудь еще (физики и/или информатики). И классы 2*2 как раз одни из них.