Erwägungen:
1.
Am 27. Mai 2019 stellte das Betreibungsamt Zug in der vom Beschwerdeführer angehobenen Betreibung Nr. xxx über Fr. 5 Mio. nebst Zins den Zahlungsbefehl an C._ (Verwaltungsratspräsident der D._ AG) zu. C._ erhob am 6. Juni 2019 beim Obergericht des Kantons Zug Beschwerde. Mit Verfügung vom 7. Juni 2019 erkannte der Beschwerdegegner in seiner Funktion als Präsident der Beschwerdeabteilung des Obergerichts der Beschwerde antragsgemäss aufschiebende Wirkung zu und wies das Betreibungsamt an, Dritten für die Dauer des Beschwerdeverfahrens keine Kenntnis über die Betreibung zu geben. Zudem lud er das Betreibungsamt und den Beschwerdeführer zur Vernehmlassung ein. Am 28. Juni 2019 reichte der Beschwerdeführer eine Vernehmlassung ein und stellte ein Ausstandsgesuch gegen den Beschwerdegegner. Mit Beschluss vom 29. August 2019 wies das Obergericht das Ausstandsgesuch ab und auferlegte dem Beschwerdeführer die Kosten von Fr. 630.--.
Gegen diesen Beschluss hat der Beschwerdeführer am 19. September 2019 (Postaufgabe) Beschwerde an das Bundesgericht erhoben.
2.
Gegen den angefochtenen Entscheid steht die Beschwerde in Zivilsachen zur Verfügung (Art. 72 Abs. 2 lit. a, Art. 74 Abs. 2 lit. c, Art. 75, Art. 92 BGG).
Sofern sich der Antrag auf Parteianhörung an das Bundesgericht richten sollte, ist darauf hinzuweisen, dass auf eine Parteiverhandlung nach <ref-law> vor Bundesgericht kein Anspruch besteht. Der vorliegende Entscheid kann ohne weiteres anhand der Akten gefällt werden.
Nach <ref-law> ist in der Beschwerdebegründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheides massgeblichen Erwägungen aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (<ref-ruling> E. 2 S. 88 f.; <ref-ruling> E. 2 S. 116).
3.
Der Beschwerdeführer behauptet, nie ein Ausstandsgesuch gestellt zu haben. Er habe den Beschwerdegegner bloss aufgefordert, freiwillig in den Ausstand zu treten, weil eine Mehrfachbefassung vorliege. Er belegt jedoch seine Darstellung, d.h. seine genaue Wortwahl, nicht. Selbst wenn seine Darstellung zutreffen sollte, legt er nicht dar, weshalb das Obergericht dies nicht als Ausstandsgesuch hätte auffassen dürfen. Der Einwand erscheint vielmehr als haltlos und querulatorisch.
Im Übrigen fehlt jegliche Auseinandersetzung mit den obergerichtlichen Erwägungen. Die blosse schlagwortartige Wiederholung der Vorwürfe (z.B. zur behaupteten Mehrfachbefassung) genügt den Begründungsanforderungen nicht. Einmal mehr erschöpft sich die Beschwerde im Wesentlichen in weitschweifigen Ausführungen, die keinen Bezug zum Verfahrensgegenstand (vorliegend einzig der Ausstand des Beschwerdegegners) haben, wahllosen Aufzählungen von Normen und Rechtsgrundsätzen sowie unzulässigen Anträgen. Insbesondere sind weder die Gewährung der aufschiebenden Wirkung vom 7. Juni 2019 noch der Rechtsvorschlag von C._ Gegenstand des vorliegenden Verfahrens.
Die Beschwerde enthält demnach offensichtlich keine hinreichende Begründung. Zudem ist sie querulatorisch und rechtsmissbräuchlich. Auf sie ist im vereinfachten Verfahren gemäss Art. 108 Abs. 1 lit. b und c BGG durch das präsidierende Mitglied der Abteilung nicht einzutreten.
4.
Bei diesem Verfahrensausgang trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zug, II. Beschwerdeabteilung, Aufsichtsbehörde über Schuldbetreibung und Konkurs, schriftlich mitgeteilt.
Lausanne, 25. September 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg