Seit 1943 war er als Kunstschutzoffizier im Zweiten Weltkrieg einer der führenden Köpfe der in Europa tätigen Abteilung zum Schutz des Kunstguts Monuments, Fine Arts, and Archives Section. Als einer der sogenannten „Monuments Men“ war es seine Aufgabe, Raubkunst der Nationalsozialisten aufzuspüren und sicherzustellen. Unter anderem waren darunter die Kunstsammlungen von Hermann Göring, Joseph Goebbels und Alfred Rosenberg. Nach der Invasion Frankreichs durch die Alliierten im Juni 1944 vertraute die Mitarbeiterin des Pariser Museums Jeu de Paume, Rose Valland, Rorimer Details des nationalsozialistischen Kunstraubs im Dezember des Jahres an. Vallands Dokumentation war besonders hilfreich für die Zuordnung von geraubten Werken, die nach der Zwischenlagerung im Jeu de Paume im Schloss Neuschwanstein aufbewahrt worden waren. Nach dem Krieg war er beteiligt an der Organisation des Munich Central Collecting Point als zentrale Sammelstelle für aufgefundene Kunstwerke in München. Für seine Tätigkeit in dieser Zeit wurde Rorimer mehrfach ausgezeichnet. 1956 wurde er in die American Academy of Arts and Sciences gewählt.