1905 und 1906 deckte Erzberger als kolonialpolitischer Sprecher seiner Fraktion mehrere Kolonialskandale auf und wurde dadurch reichsweit bekannt, weil seit Beginn des Herero-Aufstandes 1904 die Kolonialpolitik im Brennpunkt der deutschen Aufmerksamkeit stand. Erzberger lehnte, nicht zuletzt mit Blick auf den Missionsgedanken, Kolonien nicht grundsätzlich ab und verteidigte im Mai 1905 sogar den Feldzug der deutschen Kolonialtruppen gegen die Herero in Deutsch-Südwestafrika gegen Angriffe der SPD, namentlich Georg Ledebours. Allerdings mahnte er, auch die Rechte der Afrikaner zu berücksichtigen, die häufig Zwangsarbeit leisten mussten, und die zum Teil unmenschlichen Arbeitsbedingungen in den Kolonien schärfer zu kontrollieren. Vor allem aber attackierte er, gestützt auf Insiderberichte von Beamten im Reichskolonialamt, Misswirtschaft und Unterschleife in der Grauzone von Ministerialbürokratie und Unternehmen wie der Deutschen Kolonialgesellschaft und der Reederei Woermann. Ernst II. zu Hohenlohe-Langenburg musste als Leiter der Kolonialabteilung im Auswärtigen Amt zurücktreten, und mit ihm verlor auch der Ministerialbeamte Karl Helfferich seinen Posten. Dessen Hass verfolgte Erzberger bis an sein Lebensende. Konservative Kreise waren empört, dass ein schwäbischer Volksschullehrer den Erbprinz Hohenlohe-Langenburg stürzen konnte. Anlässlich des Rücktritts seines Verwandten fragte Kaiser Wilhelm II. den seinerzeitigen Reichskanzler Bernhard von Bülow, ob „denn gar kein Mittel vorhanden [sei], unsere Beamten- und Offizierswelt vor dem gewerbsmäßigen Hintertreppen-Schleicher, Ehrabschneider und Verleumder Erzberger zu decken? Die Empörung in diesen Kreisen ist stark und nimmt zu; es wäre gut, wenn die Regierung ihm und dem Zentrum die Zähne zeigte.“