Sachverhalt:
A.
B._, Notar-Stellvertreter am Konkursamt Uster, führt das Konkursverfahren von A._. A._ stellte ein Ausstandsbegehren gegen B._. Mit Verfügung vom 27. August 2018 wies B._ das Ausstandsbegehren ab.
B.
Dagegen erhob A._ am 7. September 2018 (Postaufgabe) Beschwerde an das Bezirksgericht Uster. Er verlangte, die angefochtene Verfügung aufzuheben und das Konkursamt anzuweisen, die Führung des Konkursverfahrens an eine andere Person innerhalb des Konkursamts zu übertragen. Eventuell sei die Sache an die Konkursverwaltung zur Neubeurteilung zurückzuweisen. Das Bezirksgericht zog ein Exemplar seines Beschlusses vom 19. Dezember 2017 (Verfahren CB170031-I; betreffend Kollokationsplan) bei, verzichtete aber im Übrigen auf die Einholung von Vernehmlassungen, Stellungnahmen und der Vorakten. Mit Beschluss vom 20. September 2018 wies es die Beschwerde ab.
C.
Dagegen erhob A._ am 8. Oktober 2018 Beschwerde an das Obergericht des Kantons Zürich. Er beantragte die Aufhebung des angefochtenen Beschlusses. Das Ausstandsgesuch sei gutzuheissen und es sei festzustellen, dass der das Verfahren führende Notar-Stellvertreter in den Ausstand zu treten habe und das Verfahren einer anderen Person innerhalb des Konkursamts zu übertragen sei. Eventuell sei das Ausstandsbegehren der Leitung des Konkursamts zur Entscheidung zu überweisen. Eventualiter verlangte er die Rückweisung an das Bezirksgericht und den Ausstand aller am bezirksgerichtlichen Beschluss beteiligten Gerichtspersonen. Das Obergericht zog die vorinstanzlichen Akten bei. Mit Urteil vom 19. November 2018 wies es die Beschwerde ab.
D.
Am 3. Dezember 2018 hat A._ (Beschwerdeführer) Beschwerde an das Bundesgericht erhoben. Er verlangt die Aufhebung des obergerichtlichen Urteils. Das Ausstandsbegehren sei gutzuheissen und es sei festzustellen, dass der das Verfahren führende Notar-Stellvertreter in den Ausstand zu treten habe und das Verfahren einer anderen Person innerhalb des Konkursamts zu übertragen sei. Eventuell sei die Sache an das Obergericht zu neuem Entscheid unter Beizug der Akten zurückzuweisen.
Das Bundesgericht hat die vorinstanzlichen Akten beigezogen. Das Obergericht hat auf Vernehmlassung verzichtet. Das Konkursamt und B._ (Beschwerdegegner) haben sich nicht vernehmen lassen.

Erwägungen:
1.
Gegen das Urteil des Obergerichts ist die Beschwerde in Zivilsachen grundsätzlich zulässig (Art. 72 Abs. 2 lit. a, Art. 74 Abs. 2 lit. c, Art. 75, Art. 76, Art. 90, Art. 100 Abs. 2 lit. a i.V.m. <ref-law>).
Nach <ref-law> ist in der Beschwerdebegründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheides massgeblichen Erwägungen plausibel aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (<ref-ruling> E. 2 S. 88 f.; <ref-ruling> E. 2 S. 116).
Die vorinstanzlichen Sachverhaltsfeststellungen sind für das Bundesgericht grundsätzlich verbindlich (<ref-law>). Gemäss <ref-law> kann die Feststellung des Sachverhalts nur gerügt werden, wenn die Sachverhaltsfeststellung offensichtlich unrichtig - d.h. willkürlich (<ref-law>; <ref-ruling> E. 1.5 S. 130 mit Hinweis) - ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann. Will die beschwerdeführende Partei die Sachverhaltsfeststellungen der Vorinstanz anfechten, muss sie substantiiert darlegen, inwiefern die genannten Voraussetzungen erfüllt sein sollen. Bei der Rüge der offensichtlich unrichtigen Sachverhaltsfeststellung gilt das strenge Rügeprinzip (<ref-law>). Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 1.3.1 S. 18; <ref-ruling> E. 2.3 S. 266).
2.
2.1. Der Beschwerdeführer rügt Verletzungen der Pflicht zur Sachverhaltsfeststellung von Amtes wegen (<ref-law>). Die Akten bzw. einzelne genannte Aktenstücke seien nicht wie beantragt beigezogen worden. Die im gleichen Zusammenhang gerügten Verletzungen des Anspruchs auf rechtliches Gehör (<ref-law>) und von Art. 6 EMRK haben demgegenüber keine eigenständige Bedeutung.
2.1.1. Soweit der Beschwerdeführer dem Bezirksgericht ungenügende Sachverhaltsabklärungen vorwirft, kann darauf nicht eingetreten werden. Anfechtungsobjekt vor Bundesgericht ist einzig das obergerichtliche Urteil (<ref-law>). Mängel des bezirksgerichtlichen Verfahrens waren vor Obergericht geltend zu machen. Tatsächlich brachte der Beschwerdeführer dort vor, er habe vor Bezirksgericht die Vorfälle und die relevanten Beweismittel genannt, das Bezirksgericht hätte dies überprüfen und die Akten des Konkursamtes beiziehen müssen.
Das Obergericht hat dazu erwogen, die Untersuchungspflicht nach <ref-law> greife nur im Zusammenhang mit dem von den Beschwerdeanträgen umschriebenen Beschwerdethema. Die Aufsichtsbehörde habe nicht nach Tatsachen zu forschen, die nicht aktenkundig und von keiner Partei erwähnt seien. Umgekehrt umfasse die Untersuchungspflicht nicht unbesehen alles, was von einer Partei behauptet oder verlangt werde, sondern beziehe sich nur auf den rechtserheblichen Sachverhalt. Demnach seien die Akten des konkursamtlichen Verfahrens nicht grundsätzlich von Amtes wegen beizuziehen. Das Bezirksgericht habe zu einem Beizug keinen Anlass gehabt, da es nicht selber nach einer möglichen Befangenheit suchen müsse und der Beschwerdeführer mit seiner Beschwerde an das Bezirksgericht lediglich die Arbeit des Beschwerdegegners kritisiert undeine Bevorzugung von C._ behauptet habe, ohne konkrete Anhaltspunkte für einen Interessenkonflikt im Sinne von <ref-law> aufzuzeigen. Es sei auch nicht zu beanstanden, dass sich das Bezirksgericht nicht mit den Vorwürfen des Beschwerdeführers auseinandergesetzt habe, die allenfalls im Ausstandsbegehren, aber nicht in der Beschwerde enthalten gewesen seien.
2.1.2. Spezifisch dem Obergericht wirft der Beschwerdeführer vor, es gehe offenbar davon aus, <ref-law> gelte vor der oberen Aufsichtsbehörde nicht, denn es habe auf <ref-law> abgestellt, um die Verweise auf die Rechtsschriften, Beweismittel und Darlegungen an die untere Aufsichtsbehörde nicht zu berücksichtigen.
Das Obergericht hat festgehalten, das Beschwerdeverfahren richte sich gemäss § 18 des Einführungsgesetzes vom 26. November 2007 zum Bundesgesetz über Schuldbetreibung und Konkurs (EG SchKG; LS 281) nach § 83 f. des Gesetzes vom 10. Mai 2010 über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess (GOG; LS 211.1). Der Sachverhalt sei von Amtes wegen zu untersuchen und die Bestimmungen der ZPO seien sinngemäss anwendbar (§ 83 Abs. 3 GOG). Für den Weiterzug an das Obergericht gälten <ref-law> (§ 84 GOG). Insbesondere hat das Obergericht auf Art. 320, Art. 321 Abs. 1 und Art. 326 ZPO verwiesen.
2.2. Gemäss <ref-law> stellt die Aufsichtsbehörde den Sachverhalt von Amtes wegen fest. Sie kann die Parteien zur Mitwirkung anhalten und braucht auf deren Begehren nicht einzutreten, wenn sie die notwendige und zumutbare Mitwirkung unterlassen.
Das Obergericht hat den Gehalt des in <ref-law> enthaltenen Untersuchungsgrundsatzes zutreffend wiedergegeben (oben E. 2.1.1; vgl. <ref-ruling> E. 3 S. 329). Demnach leitet die Aufsichtsbehörde das Verfahren, bestimmt die massgeblichen Tatsachen und notwendigen Beweismittel, ordnet die Beweiserhebungen an und würdigt deren Ergebnisse von Amtes wegen (Urteil 5A_253/2015 vom 9. Juni 2015 E. 4.1 mit Hinweisen). Daraus folgt - wie dies auch allgemeinen prozessualen Grundsätzen entspricht -, dass sich die Abklärungspflicht nicht unbesehen auf alles erstreckt, was von einer Partei behauptet oder verlangt wird, sondern dass sie sich nur auf den rechtserheblichen Sachverhalt bezieht (COMETTA/MÖCKLI, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs I, 2. Aufl. 2010, N. 7 zu <ref-law>). Die Aufsichtsbehörde ist demnach weder von Amtes wegen in jedem Fall gehalten, alle Akten der Vollstreckungsbehörde beizuziehen, noch muss sie ohne weiteres die von einer Partei genannten (aber nicht beigelegten) Aktenstücke beiziehen bzw. einem entsprechenden Antrag auf Beizug der Akten oder Aktenstücke stattgeben.
Inwieweit das Obergericht dem Untersuchungsgrundsatz zu wenig Rechnung getragen hätte, ist weder genügend dargetan noch ersichtlich. Der Beschwerdeführer müsste vor Bundesgericht im Einzelnen aufzeigen, welche Aktenstücke die Vorinstanz hätte beiziehen müssen und welche Tatsachenvorbringen übergangen worden sein sollen, welchen Sachverhalt sie hätte erstellen müssen und inwiefern die angeblich übergangenen Tatsachenvorbringen geeignet gewesen wären, das vorinstanzliche Urteil zu beeinflussen (vgl. oben E. 1). Dies tut der Beschwerdeführer jedoch nicht. Er belässt es bei pauschalen Behauptungen darüber, dass einzelne Teile seiner Beschwerde übergangen worden sein sollen, ohne detailliert anzugeben, was sich aus ihnen ergeben soll. Es genügt jedoch den Anforderungen an die Beschwerdebegründung nicht, auf frühere Rechtsschriften zu verweisen, denn die Begründung muss in der Beschwerde an das Bundesgericht selber enthalten sein (<ref-ruling> E. 1.2.3 S. 286; <ref-ruling> E. 3.2 S. 258; <ref-ruling> E. 3.1 S. 400). Als einziges konkretes Beispiel einer angeblich übergangenen Behauptung zitiert er seine Ausführungen zu angeblichen, strafbaren Handlungen von C._, die vom Beschwerdegegner ignoriert würden, während dieser gegen den Beschwerdeführer Strafanzeige erstattet habe. Er übergeht dabei jedoch, dass das Obergericht diese Vorwürfe keineswegs übersehen hat. Vielmehr hat es festgehalten, der Beschwerdeführer mache vor Obergericht nunmehr geltend, dieser Vorwurf sei gar nicht Gegenstand des Ausstandsbegehrens gewesen. Daraus hat das Obergericht geschlossen, der Beschwerdeführer erachte eine Auseinandersetzung damit (bzw. mit den entsprechenden ausführlichen Erwägungen des Bezirksgerichts) offenbar als überflüssig.
Es erschliesst sich aus der an das Bundesgericht gerichteten Beschwerdeschrift demnach nicht, von welchem genauen Sachverhalt das Obergericht hätte ausgehen müssen und inwiefern dieser zur Annahme der Befangenheit des Beschwerdegegners hätte führen müssen. Mit den ausführlichen tatsächlichen und rechtlichen Erwägungen des Obergerichts zu einzelnen Vorwürfen gegenüber dem Beschwerdegegner befasst sich der Beschwerdeführer im Übrigen nicht.
2.3. Die Kritik des Beschwerdeführers an der Anwendung von <ref-law> als kantonales Recht scheint sodann nicht so sehr auf die Sachverhaltsfeststellung als solche, sondern auf die Anforderungen an die Begründung der Beschwerde an das Obergericht abzuzielen. Wie es sich damit verhält, braucht nicht geprüft zu werden. Insbesondere kann offen bleiben, ob ein Beschwerdeführer in der Beschwerde an eine obere Aufsichtsbehörde gestützt auf Bundesrecht auf frühere Rechtsschriften verweisen darf. Der Beschwerdeführer belässt es nämlich auch in diesem Zusammenhang mit der unsubstantiierten Behauptung, gewisse Verweise auf frühere Rechtsschriften seien vom Obergericht übergangen worden, ohne im Einzelnen darzulegen, dass diese tatsächlich nicht berücksichtigt worden sind, welchen Inhalt sie gehabt haben sollen und inwiefern diese geeignet gewesen wären, zu einem anderen Verfahrensergebnis zu führen.
3.
3.1. Der Beschwerdeführer kritisiert schliesslich das Rubrum des angefochtenen Urteils. Darauf ist C._ als Verfahrensbeteiligte aufgeführt. Der Beschwerdeführer macht geltend, sie sei Gläubigerin im Konkursverfahren, vom vorliegenden Ausstandsverfahren jedoch nicht besonders betroffen. Er befinde sich in einem heftig geführten Scheidungsverfahren mit ihr. Die falsche Rubrizierung führe dazu, dass sie als einzige Gläubigerin direkt über das vorliegende Verfahren informiert werde und sie ihr Verhalten darauf abstimmen könne.
3.2. Das Obergericht hat zu entsprechenden Rügen gegenüber dem bezirksgerichtlichen Rubrum erwogen, die Rubrizierung einer einzelnen Gläubigerin als Verfahrensbeteiligte könne im Einzelfall zur Wahrung des rechtlichen Gehörs zweckmässig sein. Vorliegend sei keine solche Zweckmässigkeit ersichtlich. Nachdem C._ im vorinstanzlichen Verfahren als Verfahrensbeteiligte behandelt worden sei, bleibe es vor Obergericht dabei. In allfälligen weiteren Verfahren solle aber ohne entsprechende Gründe darauf verzichtet werden.
3.3. Der Beschwerdeführer verlangt, im Falle einer Rückweisung das Obergericht anzuweisen, das Rubrum anzupassen. Der Beschwerdeführer erhebt seine Rügen demnach nur für den Fall, dass seiner Beschwerde bereits aus anderen Gründen Erfolg beschieden ist und es zu einer Rückweisung kommt. Da dies nicht der Fall ist, erübrigt es sich, auf sie einzugehen.
4.
Die Beschwerde ist demnach abzuweisen, soweit auf sie eingetreten werden kann.
5.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zürich, II. Zivilkammer als obere kantonale Aufsichtsbehörde über Schuldbetreibung und Konkurs, schriftlich mitgeteilt.
Lausanne, 25. Juni 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Zingg