Am 2. April 1941, als die Vorbereitungen für den Angriff gegen die Sowjetunion auf Hochtouren liefen, fand ein Gespräch zwischen Rosenberg und Hitler statt. Rosenberg notierte dazu in seinem Tagebuch: „›Rosenberg, jetzt ist Ihre große Stunde gekommen!‹ Mit diesen Worten beendete der Führer heute eine zweistündige Unterredung mit mir. […] Der Führer entwickelte dann ausführlich die voraussichtliche Entwicklung im Osten, was ich heute nicht niederschreiben will. … Der Führer fragte mich über die soldatische und menschliche Psyche der Russen unter schwerer Belastung, über den jetzigen jüdischen Anteil in der Sowjetunion und anderes.“ […] „Zum Schluss sagte er: Für diese ganz russische Frage will ich bei mir ein Büro einrichten, und sie sollen es übernehmen. Arbeiten Sie nach allen Richtungen Richtlinien aus; was sie an Geld brauchen, steht Ihnen zur Verfügung.“ Hitler hatte für Rosenberg, fünf Tage nach seiner Anspielung auf „ein fernes Reservat“ für die Juden während seiner Eröffnungsrede im IEJ, ein „zentrales politisches Büro für die Ostarbeit“ vorgesehen, für dessen Errichtung Rosenberg nun als Leiter und bislang noch inoffizieller „Ostminister“ zu arbeiten begann.