Grau trat zum 1. Mai 1937 der NSDAP bei (Mitgliedsnummer 5.951.121). Er wurde gleich bei der Gründung 1936 Geschäftsführer der in München angesiedelten antisemitischen „Forschungsabteilung Judenfrage“, einer Zweigstelle des von Walter Frank geleiteten nationalsozialistischen „Reichsinstituts für Geschichte des neuen Deutschlands“ in Berlin. Eine der ersten Aufgaben des Instituts war die Sammlung von Unterlagen zur Personen- und Familiengeschichte der Juden. So erstellte z. B. ab Februar 1937 Franz Stanglica für Grau Regesten in Österreich und beschäftigte dabei die österreichischen Nationalsozialisten Kurt Zeilinger und Walter Messing. Es wurde auch mit dem Aufbau einer Spezialbibliothek begonnen, die bei Kriegsende etwa 35.000 Titel umfasste. 1936 erhielt Grau eine Rubrik in der angesehenen, von seinem Doktorvater Karl Alexander von Müller herausgegebenen Historischen Zeitschrift mit dem Titel "Geschichte der Judenfrage", in der er eigene Artikel schrieb, aber auch Bücher rezensierte. Zusätzlich verfasste Grau ab dem Heft 4/1936 regelmäßig Artikel in der Zeitschrift des gleichgeschalteten Geschichtslehrer-Verbandes Vergangenheit und Gegenwart. Zu dem Zeitpunkt war Wilhelm Mommsen noch Mitherausgeber. Grau war auch im Auftrag von Joseph Goebbels Beobachter beim Prozess gegen den jungen David Frankfurter; er lieferte Personenstandsangaben an das Reichssippenamt, war Autor antisemitischer Schulbücher und Berater bei der Wanderausstellung "Der ewige Jude". Außerdem schrieb er Memoranden für Adolf Hitler und betätigte sich als Denunziant „jüdisch Versippter“ im Auswärtigen Amt.