Fritz Grossmann war der Sohn des Militärarztes Maximilian Großmann (* 13. Januar 1869 in Stredokluk bei Prag; † 22. Februar 1941 in Wien-Landstraße). Er besuchte in Wien das Staatsgymnasium im III. Bezirk bis zum Abitur. Anschließend studierte er an der Universität Wien, zunächst Jura, dann Kunstgeschichte und Neuere Deutsche Philologie. 1930 wurde er bei Josef Strzygowski promoviert. Danach war er freiberuflich im kulturellen Sektor in Wien tätig, eine feste Anstellung konnte er jedoch als Jude nicht finden. Nach dem „Anschluß“ Österreichs emigrierte er im Dezember 1938 nach London, wo er Assistent von Ludwig Burchard wurde. Auch arbeitete er eng mit dem Sammler Antoine Seilern zusammen, den er aus seiner Schulzeit in Wien kannte. Von 1961 bis zu seinem Ruhestand 1966 war er an der Manchester City Art Gallery tätig. Von 1966 bis 1972 lehrte er als Professor für Kunstgeschichte an der University of Washington in Seattle.