Erwägungen:
1.
1.1. A._ reichte beim Verein für Höhere Prüfungen in Rechnungswesen und Controlling (nachfolgend: Prüfungsorganisation) am 8. April 2020 Anmeldeunterlagen für die Höhere Fachprüfung für Experten in Rechnungslegung und Controlling 2021 ein. Gleichzeitig stellte er ein Ausstandsgesuch gegen ein Mitglied der Prüfungskommission und ein Gesuch um Nachteilsausgleich. Mit Schreiben vom 16. April 2020 teilte ihm die Prüfungsorganisation mit, dass die Prüfungsanmeldung erst ab Sommer 2020 möglich sei und über das Gesuch um Nachteilsausgleich innert drei Monaten entschieden werde.
Mit Eingabe vom 5. Mai 2020 erhob A._ beim Staatssekretariat für Bildung, Forschung und Innovation (SBFI) Rechtsverweigerungsbeschwerde, beantragte erneut den Ausstand des Mitglieds der Prüfungskommission sowie weiterer Mitarbeiter der Prüfungsorganisation und des SBFI und verlangte unter anderem die Feststellung einer Diskriminierung. Mit Verfügung vom 14. Juli 2020 wies das SBFI die Rechtsverweigerungsbeschwerde sowie die Ausstandsbegehren gegen Mitarbeiter der Prüfungsorganisation und des SBFI ab und entsprach seinem Begehren um Erlass einer Feststellungsverfügung nicht. Die von A._ dagegen erhobene Beschwerde wies das Bundesverwaltungsgericht mit Urteil vom 27. Oktober 2020 ab, soweit es darauf eintrat und die Beschwerde nicht gegenstandslos geworden war (Urteil B-3674/2020). Mit Urteil vom 8. März 2021 weist das Bundesgericht die dagegen erhobene Beschwerde von A._ ab, soweit es darauf eintritt (Urteil 2C_922/2020).
1.2. Mit Schreiben vom 4. September 2020 an das Bundesverwaltungsgericht stellte A._ ein Ausstandsgesuch gegen eine Abteilung sowie zwei Mitarbeitende des SBFI im zu jener Zeit vor dem SBFI hängigen Verfahren betreffend Nachteilsausgleich. Am 9. September 2020 wurde die Sache zuständigkeitshalber an das SBFI weitergeleitet. Dieses wies das Ausstandsgesuch mit Verfügung vom 15. September 2020 ab, soweit es darauf eintrat. Eine dagegen erhobene Beschwerde von A._ schrieb das Bundesverwaltungsgericht am 9. Oktober 2020 als gegenstandslos geworden zufolge Rückzugs ab (Verfahren B-4653/2020).
1.3. Mit Verfügung vom 31. Juli 2020 hiess die zuständige Prüfungskommission das Gesuch von A._ um Nachteilsausgleich teilweise gut. Am 4. August 2020 erhob er dagegen Beschwerde beim SBFI. Am 6. November 2020 hob die Prüfungskommission ihren Entscheid vom 31. Juli 2020 auf, woraufhin das SBFI die Beschwerde mit Verfügung vom 1. Dezember 2020 als gegenstandslos geworden abschrieb.
Gegen die Abschreibungsverfügung erhob A._ mit Eingabe vom 9. Dezember 2020 Beschwerde vor Bundesverwaltungsgericht, beantragte sinngemäss deren Aufhebung und ersuchte um Erlass vorsorglicher Massnahmen (Verfahren B-6231/2020; nachfolgend: Hauptverfahren). Mit Zwischenverfügung vom 11. Dezember 2020 wies der Instruktionsrichter Martin Kayser die Anträge von A._ im Hauptverfahren um Erlass vorsorglicher Massnahmen ab, soweit sie als superpovisorisch zu verstehen waren und darauf eingetreten wurde.
1.4. Mit Eingabe vom 14. Dezember 2020 im Hauptverfahren beantragte A._ den Ausstand von Bundesverwaltungsrichter Martin Kayser. Das Bundesverwaltungsgericht wies das Gesuch mit Zwischenentscheid vom 5. Januar 2021 ab.
1.5. Mit Eingabe vom 14. Januar 2021 reicht A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten und Rechtsverweigerungs- bzw. Rechtsverzögerungsbeschwerde beim Bundesgericht ein. Er beantragt, der Entscheid über den Ausstand von Richter Martin Kayser sei aufzuheben oder zu wiederholen und der Ausstand sei zu bestätigen. Im Rahmen der Rechtsverweigerungsbeschwerde beantragt er sinngemäss, das Verfahren B-6231/2020 vor Bundesverwaltungsgericht sei bis zum Entscheid über das Ausstandsgesuch von einer anderen Person als Richter Martin Kayser zu leiten. Zudem sei eine Rechtsverweigerung festzustellen und das Bundesverwaltungsgericht sei anzuweisen, das Verfahren B-6231/2020 unverzüglich zu eröffnen, mit der Androhung, es werde sonst gestützt auf die Akten entschieden. In verfahrensrechtlicher Hinsicht beantragt er den Beizug der vorinstanzlichen Akten.
Das Bundesgericht hat die erst- und vorinstanzlichen Akten eingeholt. Es wurde kein Schriftenwechsel durchgeführt.
2.
2.1. Die fristgerecht eingereichte Beschwerde (<ref-law>) richtet sich gegen einen Entscheid des Bundesverwaltungsgerichts (<ref-law>) über den Ausstand einer Gerichtsperson und damit einen selbständig eröffneten Zwischenentscheid im Sinne von <ref-law>, welcher der Beschwerde unterliegt. Bei Zwischenentscheiden folgt der Rechtsweg jenem der Hauptsache (<ref-ruling> E. 1.1). Dort geht es um ein Gesuch um Nachteilsausgleich im Zusammenhang mit der höheren Fachprüfung für Experten in Rechnungslegung und Controlling. Dagegen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (<ref-law>). Die Ausnahme gemäss Art. 83 lit. t BGG greift nicht, da es vorliegend nicht um eine Fähigkeitsbewertung geht (vgl. Urteile 2C_778/2020 vom 23. Oktober 2020 E. 2.1, mit Hinweisen; 2C_502/2019 vom 30. Oktober 2019 E. 1.2). Der Beschwerdeführer ist zur Erhebung der Beschwerde legitimiert (<ref-law>).
2.2. Der Beschwerdeführer muss in Auseinandersetzung mit den Ausführungen im angefochtenen Entscheid sachbezogen darlegen, dass und inwiefern die Vorinstanz mit ihrem Entscheid Recht verletzt hat (vgl. Art. 42 Abs. 1 bzw. <ref-law>; <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3). Die vorliegende Beschwerde, die diese Voraussetzungen nur knapp erfüllt, ist zwar zulässig, aber offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach <ref-law> erledigt wird.
2.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung wendet das Bundesgericht das Recht von Amtes wegen an (<ref-law>; <ref-ruling> E. 4.4.5) und verfügt es über volle Kognition (<ref-law>; <ref-ruling> E. 2). In Bezug auf die Verletzung von Grundrechten und von kantonalem Recht gilt eine qualifizierte Rüge- und Substanziierungspflicht (<ref-law>; <ref-ruling> E. 1.7.2; <ref-ruling> E. 2.2).
2.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die tatsächlichen Feststellungen der Vorinstanz nur berichtigen oder ergänzen, sofern sie offensichtlich unrichtig sind oder auf einer anderen Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>).
3.
Der Beschwerdeführer rügt zunächst eine Verletzung seines rechtlichen Gehörs (<ref-law>). Soweit aus der Beschwerdeschrift ersichtlich, wirft er der Vorinstanz vor, auf die Einholung einer Duplik verzichtet zu haben.
3.1. Dem angefochtenen Urteil kann entnommen werden, dass die Vorinstanz keinen zweiten Schriftenwechsel angeordnet hat. Dies ist zulässig, zumal <ref-law> (SR 172.021), der auch in Verfahren vor Bundesverwaltungsgericht anwendbar ist (vgl. Art. 37 VGG [SR 173.32]), festhält, dass die Beschwerdeinstanz zu einem weiteren Schriftenwechsel einladen kann. Das Bundesgericht hat bereits erwogen, dass daraus keine Pflicht zur Durchführung eines zweiten Schriftenwechsels entsteht (<ref-ruling> E. 2.3.1 in fine).
3.2. Vorliegend wurde dem Beschwerdeführer die Stellungnahme von Richter Martin Kayser zur Kenntnis gebracht, woraufhin er unaufgefordert Bemerkungen einreichte. Damit war er in der Lage, sein Replikrecht auszuüben (vgl. dazu <ref-ruling> E. 2.4). Dass in der Folge keine weiteren Stellungnahmen eingereicht wurden, stellt keine Verletzung seines rechtlichen Gehörs dar.
4.
4.1. Der Ausstand vor Bundesverwaltungsgericht richtet sich nach den Bestimmungen des BGG (Art. 38 VGG). Die Ausstandsgründe finden sich in <ref-law>. Danach treten Richter, Richterinnen, Gerichtsschreiber und Gerichtsschreiberinnen (Gerichtspersonen) unter anderem in Ausstand, wenn sie in der Sache ein persönliches Interesse haben (lit. a) oder wenn sie aus anderen als den in Art. 34 Abs. 1 lit. a-d genannten Gründen, insbesondere wegen besonderer Freundschaft oder persönlicher Feindschaft mit einer Partei oder ihrem Vertreter, befangen sein könnten (<ref-law>). Die Mitwirkung an einem früheren Verfahren bildet für sich allein keinen Ausstandsgrund (<ref-law>).
4.2. Der Beschwerdeführer beruft sich ausdrücklich auf <ref-law>. Ob er darüber hinaus eine Verletzung von Art. 34 Abs. 1 lit. e geltend macht, ist unklar. Jedenfalls wirft er Richter Martin Kayser Befangenheit vor und beanstandet dessen Vor- bzw. Merhrfachbefassung mit der Sache. Dabei bringt er vor, Richter Martin Kayser habe bereits am Urteil vom 27. Oktober 2020 (Verfahren B-3674/2020) mitgewirkt und amte nun im vorliegenden Verfahren (erneut) als Instruktionsrichter. Dessen Befangenheit zeige sich daran, dass er nach wie vor die gleiche Einstellung habe. Ferner bezieht sich der Beschwerdeführer auf verschiedene Zwischenverfügungen, die Richter Martin Kayser in den Verfahren B-3674/2020 und B-4653/2020 sowie im vorliegenden Hauptverfahren erlassen hatte.
4.3.
4.3.1. Der Ausstandsgrund gemäss <ref-law> setzt voraus, dass die Gerichtsperson eine spürbare persönliche Beziehungsnähe zum Streitgegenstand aufweist. Das Interesse kann materiell oder ideell sein und es kann die rechtliche oder die tatsächliche Situation beeinflussen. Es muss aber, um die richterliche Unabhängigkeit in Frage zu stellen, die betreffende Gerichtsperson nicht nur allgemein berühren, sondern die persönliche Interessensphäre spürbar und mehr als diejenige anderer Gerichtspersonen tangieren (vgl. Urteil 4A_162/2010 vom 22. Juni 2010 E. 2.2, mit zahlreichen Hinweisen).
Der Beschwerdeführer vermag nicht konkret darzutun, inwiefern Richter Martin Kayser ein persönliches Interesse an der Sache im Sinne der dargelegten Rechtsprechung haben soll, sondern beschränkt sich auf blosse Behauptungen. Die Rüge der Verletzung von <ref-law> erweist sich damit als unbegründet.
4.3.2. Der Anschein der Befangenheit nach <ref-law> besteht, wenn Umstände vorliegen, die bei objektiver Betrachtungsweise geeignet sind, Misstrauen in die Unparteilichkeit des Richters zu erwecken. Auf das bloss subjektive Empfinden einer Partei kann bei der Beurteilung nicht abgestellt werden. Der Anschein der Befangenheit genügt; der abgelehnte Richter muss nicht tatsächlich befangen sein (<ref-ruling> E. 3.2.1; <ref-ruling> E. 2.2; <ref-ruling> E. 3.1; <ref-ruling> E. 2.1; je mit Hinweisen).
Der Umstand, dass einem Beschwerdeführer das Ergebnis eines früheren Verfahrens nicht genehm ist, bildet für sich allein keinen Grund für den Ausstand einer Gerichtsperson, die in jenem Verfahren mitgewirkt hat (vgl. <ref-law> und E. 4.1 hiervor; <ref-ruling> E. 1; Urteile 2C_222/2013 vom 27. Mai 2013 E. 2.1; 8C_543/2011 vom 25. August 2011 E. 2.4; jeweils mit Hinweisen). Damit eine unzulässige Vorbefassung vorliegt, müssen noch weitere tatsächliche Gesichtspunkte hinzukommen (<ref-ruling> E. 3.7.1). Im Übrigen hat die Vorinstanz die einschlägige Rechtsprechung korrekt wiedergegeben, sodass auf die entsprechenden Ausführungen im angefochtenen Urteil verwiesen werden kann (vgl. dort E. 2.3-2.5).
4.3.3. Vorliegend ist unbestritten, dass Richter Martin Kayser sowohl am vorliegend interessierenden Hauptverfahren als auch an den Verfahren B-3674/2020 und B-4653/2020 mitgewirkt hat, die beide den Beschwerdeführer betrafen. So hat er im Rahmen des Verfahrens B-3674/2020 einen Antrag des Beschwerdeführers auf vorsorgliche Sicherstellung seiner Anmeldeunterlagen abgewiesen, soweit er nicht gegenstandslos geworden war. Ferner hat er im - inzwischen als gegenstandslos abgeschriebenen - Verfahren B-4653/2020 auf die Einholung von Vernehmlassungen verzichtet, weil die Beschwerde aufgrund der in jenem Zeitpunkt zur Verfügung stehenden Akten als offensichtlich unbegründet erschien. Schliesslich hat er im vorliegenden Hauptverfahren mit Zwischenverfügung vom 11. Dezember 2020 einen Verfahrensantrag des Beschwerdeführers wegen Befangenheit verschiedener Personen der Prüfungsorganisation und des SBFI abgewiesen, soweit sie als superprovisorisch zu verstehen waren und darauf eingetreten wurde.
4.3.4. Nach dem Gesagten genügt dieser Umstand allein nicht, um auf eine unzulässige Vorbefassung zu schliessen. Konkrete Hinweise, die geeignet wären, Misstrauen in die Unparteilichkeit von Richter Martin Kayser zu erwecken, sind nicht ersichtlich und werden auch nicht substanziiert dargetan (vgl. E. 4.3.2 hiervor).
Insbesondere kann die Befangenheit von Richter Martin Kayser - mangels weiterer Anhaltspunkte - nicht einzig damit begründet werden, dass er in den verschiedenen den Beschwerdeführer betreffenden Verfahren prozessuale Anordnungen getroffen und sich dabei auch summarisch zu den Erfolgsaussichten der Sache geäussert hat. Das Bundesgericht hat bereits erwogen, dass rechtsstaatliche Verfahren regelmässig voraussetzen, dass ein Gerichtspräsident oder ein Richter schon vor dem eigentlichen Sachentscheid prozessuale Anordnungen trifft. Dass das verfügende Gerichtsmitglied dabei die Aussichten einer Beschwerde abzuwägen hat, begründet für sich noch keine Voreingenommenheit, sondern ergibt sich aus dem Sinn der Verfahrensordnung (vgl. <ref-ruling> E. 3.7.1 betreffend die Abweisung eines Gesuchs um unentgeltliche Rechtspflege wegen Aussichtslosigkeit durch den zuständigen Instruktionsrichter). Dies gilt auch in Fällen, in welchen in den Entscheid über die Anordnung der vorsorglichen Massnahmen eine gewisse - nicht abschliessend vorgetragene - Kritik in der Sache einfliesst (Urteil 2C_171/2007 und 2C_283/2007 vom 19. Oktober 2007 E. 5.2 in fine).
Soweit der Beschwerdeführer schliesslich sinngemäss geltend macht, die von Richter Martin Kayser erlassene Zwischenverfügung vom 11. Dezember 2020 sei widersprüchlich, ist darauf hinzuweisen, dass selbst fehlerhafte Verfügungen oder Verfahrenshandlungen für sich allein keinen Anschein der Voreingenommenheit begründen würden (vgl. <ref-ruling> E. 3.2.3; Urteil 2C_222/2013 vom 27. Mai 2013 E. 2.1). Die Behauptungen des Beschwerdeführers, Richter Martin Kayser habe schwere Verfahrensfehler und Amtspflichtverletzungen begangen, werden zudem in keiner Weise substanziiert.
4.4. Im Ergebnis vermögen die Ausführungen des Beschwerdeführers keinen objektiven Verdacht der Voreingenommenheit von Richter Martin Kayser zu begründen. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich als offensichtlich unbegründet und ist im vereinfachten Verfahren gemäss <ref-law> abzuweisen. Zur Begründung wird ergänzend auf die Erwägungen im angefochtenen Urteil hingewiesen (<ref-law>).
5.
Der Beschwerdeführer erhebt mit gleicher Eingabe eine Beschwerde wegen Rechtsverweigerung bzw. Rechtsverzögerung, die sich auf das Hauptverfahren bezieht.
5.1. Gegen das unrechtmässige Verweigern oder Verzögern eines anfechtbaren Entscheids kann jederzeit Beschwerde geführt werden (Art. 94 i.V.m. <ref-law>), wobei diese grundsätzlich dieselben formellen Voraussetzungen erfüllen muss wie alle anderen Beschwerden in öffentlich-rechtlichen Angelegenheiten (Urteile 2C_543/2016 vom 18. August 2016 E. 2.1; 1C_189/2012 vom 18. April 2012 E. 1.2). Ob die schwer nachvollziehbaren Ausführungen des Beschwerdeführers den gesetzlichen Anforderungen hinsichtlich der Beschwerdebegründung genügen (Art. 42 Abs. 1 und 2 BGG), kann offenbleiben, da sich die Beschwerde ohnehin als unbegründet erweist.
5.2. Eine Rechtsverweigerung liegt vor, wenn es eine Behörde ausdrücklich ablehnt, eine Entscheidung zu treffen, obwohl sie dazu verpflichtet ist (<ref-ruling> E. 4, mit Hinweisen). Um eine Rechtsverzögerung handelt es sich dagegen, wenn sich die zuständige Behörde zwar bereit zeigt, einen Entscheid zu treffen, diesen aber nicht binnen der Frist fällt, welche nach der Natur der Sache und nach der Gesamtheit der übrigen Umstände als angemessen erscheint (Urteil 2C_442/2011 vom 7. Juli 2011 E. 3.1).
5.3. Aus der Beschwerdeschrift ergibt sich, dass der Beschwerdeführer eine Rechtsverweigerung geltend macht. Eine solche liegt offensichtlich nicht vor: Nachdem der Beschwerdeführer mit Eingabe vom 9. Dezember 2020 gegen die Abschreibungeverfügung des SBFI betreffend den Nachteilsausgleich Beschwerde an das Bundesverwaltungsgericht erhoben hat, hat die Vorinstanz das Hauptverfahren eröffnet und anschliessend, am 11. Dezember 2020, eine Zwischenverfügung über die von ihm beantragten vorsorglichen Massnahmen erlassen. Zudem wurde vom Beschwerdeführer ein Kostenvorschuss für das Hauptverfahren erhoben (vgl. angefochtenes Urteil, Sachverhalt A.f und A.g). Schliesslich entschied die Vorinstanz am 5. Januar 2021 über das Gesuch des Beschwerdeführers vom 14. Dezember 2020 betreffend den Ausstand des Instruktionsrichters. Vor diesem Hintergrund kann von einer Weigerung der Vorinstanz, die Sache an die Hand zu nehmen, keine Rede sein. Auch liegen keine Hinweise für eine unzulässige Verfahrensverschleppung durch das Bundesverwaltungsgericht vor.
6.
Nach dem Gesagten erweisen sich sowohl die Beschwerde in öffentlich-rechtlichen Angelegenheiten als auch die Rechtsverweigerungsbeschwerde als unbegründet und sind abzuweisen.
Bei diesem Ausgang des Verfahrens wird der unterliegende Beschwerdeführer kostenpflichtig (<ref-law>). Es ist keine Parteientschädigung geschuldet (Art. 68 Abs. 3).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten und die Rechtsverweigerungsbeschwerde werden abgewiesen.
2.
Die Kosten des bundesgerichtlichen Verfahrens von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Bundesverwaltungsgericht, Abteilung II, schriftlich mitgeteilt.
Lausanne, 8. März 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Ivanov