Sachverhalt:
A.
A._ absolvierte in den Jahren 2011, 2012 und 2013 im Kanton Luzern jeweils erfolglos den schriftlichen Teil der Notariatsprüfungen. Am 9. April 2013 teilte die kantonale Notariatsprüfungskommission ihm das Ergebnis der schriftlichen Prüfung im dritten Versuch mit; die schriftliche Prüfung sei damit nicht bestanden und eine Wiederholung nicht mehr möglich. Dagegen gerichtete Rechtsmittel von A._ blieben erfolglos (Urteil des Bundesgerichts 2D_2/2014 vom 16. Juni 2014).
B.
Am 21. Januar 2016 ersuchte A._ das Kantonsgericht Luzern um die Zulassung zur Notariatsprüfung im Frühling 2016. Die Geschäftsleitung des Kantonsgerichts lehnte das Gesuch am 3. Februar 2016 ab. Sie begründete ihren Entscheid damit, dass ein Bewerber nach dreimaligem Misserfolg nicht mehr zur Prüfung zugelassen werde (§ 5 Abs. 2 der kantonalen Verordnung vom 24. November 1973 ü ber die Prüfung der Notare [Prüfungsverordnung, SRL 257]).
Mit Beschwerde an das Kantonsgericht vom 23. Februar 2016 beantragte A._ insbesondere, die Verfügung der Geschäftsleitung des Kantonsgerichts vom 3. Februar 2016 sei aufzuheben und er sei zur Notariatsprüfung zuzulassen. Er rügte namentlich eine Verletzung des Legalitätsprinzips; es bestehe keine hinreichende gesetzliche Grundlage, um die Anzahl der Prüfungsversuche mittels der Prüfungsverordnung zu begrenzen.
Mit Urteil vom 9. August 2016 trat das Kantonsgericht auf die Beschwerde nicht ein, da es zur Behandlung der Beschwerde nicht zuständig sei. Im Übrigen bestehe keine Pflicht zur Weiterleitung der Eingabe an eine andere Instanz.
C.
Mit Beschwerde vom 21. September 2016 beantragt A._, das Urteil des Kantonsgerichts vom 9. August 2016 sei aufzuheben und er sei zur Notariatsprüfung zuzulassen. Eventualiter sei die Sache an das Kantonsgericht oder den Kanton Luzern zurückzuweisen. Weiter verlangt er eine Parteientschädigung für das kantonale und das bundesgerichtliche Beschwerdeverfahren. Ausserdem weist er in einer Eingabe vom 10. November 2016 auf mögliche Ausstandsgründe gegenüber den Bundesrichtern Stadelmann und Donzallaz hin.
D.
Die Notariatsprüfungskommission, das Kantonsgericht sowie dessen Geschäftsleitung verzichten auf eine Stellungnahme zur Beschwerde, wobei das Kantonsgericht und dessen Geschäftsleitung die Abweisung der Beschwerde beantragen.

Erwägungen:
1.
Soweit der Beschwerdeführer mit seiner Eingabe vom 10. November 2016 ein Ausstandsgesuch betreffend die Bundesrichter Donzallaz und Stadelmann stellen wollte, erweist sich dieses als gegenstandslos, da die genannten Bundesrichter am vorliegenden Entscheid nicht mitwirken.
2.
Das Bundesgericht prüft seine Zuständigkeit und die weiteren Eintretensvoraussetzungen von Amtes wegen (<ref-law>) und mit freier Kognition (<ref-ruling> E. 1 S. 116).
2.1. Angefochten ist ein Nichteintretensentscheid in Bezug auf die Zulassung zur Notariatsprüfung. Die Zulassung zur Prüfung ist im öffentlichen Recht - der kantonalen Prüfungsverordnung - geregelt und öffentlich-rechtlicher Natur. Es liegt damit eine Streitigkeit in einer öffentlich-rechtlichen Angelegenheit vor (<ref-law>), ohne dass auf das Vorbringen des Beschwerdeführers, es sei eine zivilrechtliche Streitigkeit gegeben, näher eingegangen werden müsste. Auf die ebenfalls erhobene Beschwerde in Zivilsachen ist nicht einzutreten.
2.2. Der angefochtene Nichteintretensentscheid ist ein letztinstanzlicher kantonaler Endentscheid (Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 BGG). Gegenstand des kantonalen Verfahrens sind nicht die Ergebnisse der vom Beschwerdeführer absolvierten Prüfungen, sondern die Zulassung zur Prüfung nach drei erfolglosen Versuchen. Organisatorische bzw. verfahrensrechtliche Gesichtspunkte der vorliegenden Art sind vom Ausschlussgrund in Art. 83 lit. t BGG nicht erfasst. Sie können im Rahmen der Beschwerde in öffentlich-rechtlichen Angelegenheiten überprüft werden (<ref-ruling> E. 1 S. 231 mit Hinweis; Urteil des Bundesgerichts 2C_974/2014 vom 27. April 2015 E. 1.1; vgl. auch <ref-ruling> E. 1.1 und 1.2 S. 44 f.). Die Beschwerde ist daher als Beschwerde in öffentlich-rechtlichen Angelegenheiten entgegenzunehmen. Für die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde bleibt kein Raum (<ref-law>).
2.3. Nach <ref-law> ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert, wer ein schutzwürdiges Interesse an der Beurteilung seiner Eingabe hat (lit. c). Dieses muss nicht nur bei der Beschwerdeeinreichung, sondern auch noch im Zeitpunkt der Urteilsfällung aktuell und praktisch sein. Fällt das aktuelle Interesse im Verlaufe des Verfahrens dahin, wird die Sache als erledigt erklärt; fehlte es schon bei Beschwerdeeinreichung, ist auf die Eingabe nicht einzutreten (<ref-law> i.V.m. <ref-law> [SR 273]; <ref-ruling> E. 1.1 S. 208; <ref-ruling> E. 4.2 S. 299; <ref-ruling> E. 1.3 S. 24 f.).
Der Beschwerdeführer beantragte beim Kantonsgericht die Zulassung zur Prüfung im Frühling 2016. Dieser Prüfungszeitpunkt ist mittlerweile verstrichen, ohne dass der Beschwerdeführer an der Prüfung hätte teilnehmen können. Mit einer Gutheissung der vorliegenden Beschwerde kann die Teilnahme an der Prüfung im Frühling 2016 zwar nicht mehr erreicht werden. Seine Begehren und deren Begründung können jedoch in dem Sinne verstanden werden, dass es ihm nicht allein um die Zulassung zur Prüfung im Frühling 2016 ging, sondern auch zur Prüfung in einem späteren Zeitpunkt, obwohl er dies nicht ausdrücklich verlangt. Der definitive A usschluss von weiteren Notariatsprüfungen nach drei gescheiterten Versuchen wurde dem Beschwerdeführer bereits mit Verfügung der kantonalen Notariatsprüfungskommission 9. April 2013 mitgeteilt. Das Rechtsmittelverfahren betreffend diese Verfügung endete mit der Abweisung der Beschwerde durch das Bundesgericht mit Urteil 2D_2/2014 vom 16. Juni 2014. Damit stellt sich die Frage, ob in dieser Sache ein weiteres Rechtsmittelverfahren durchgeführt werden kann oder ob einem solchen Verfahren die formelle Rechtskraft der Verfügung vom 9. April 2013 entgegensteht.
3.
Umstritten ist, ob das Kantonsgericht auf das Rechtsmittel des Beschwerdeführers zu Recht nicht eingetreten ist. Die Notariatsprüfung ist Gegenstand von § 6 des kantonalen Gesetzes vom 18. September 1973 über die öffentlichen Beurkundungen (BeurkG; SRL 255). Danach besteht die Prüfung aus einem schriftlichen und einem mündlichen Teil (Abs. 1). Zugelassen werden Inhaber eines kantonalen Anwaltspatentes oder des luzernischen Fähigkeitszeugnisses als Gemeindeschreiber (Abs. 2). Das Kantonsgericht wählt für eine Amtsdauer von vier Jahren eine Prüfungskommission von fünf Mitgliedern, darunter wenigstens zwei Notare, sowie Ersatzmitglieder (Abs. 3). Das Kantonsgericht bestimmt alles Nähere durch Verordnung (Abs. 4). Die Wiederholung der Prüfung ist in § 5 der Prüfungsverordnung geregelt: Wird die schriftliche oder die mündliche Prüfung nicht bestanden, so bestimmt die Kommission, wann und unter welchen Bedingungen der Bewerber sich neuerdings anmelden kann (Abs. 1). Nach dreimaligem Misserfolg wird der Bewerber nicht mehr zur Prüfung zugelassen (Abs. 2). Weiter besagt § 2 Abs. 4 der Prüfungsverordnung, dass das Kantonsgericht über Gesuche um Zulassung zur Prüfung entscheidet [...].
3.1. Es ist unbestritten, dass der Beschwerdeführer die Notariatsprüfung auch beim dritten Versuch nicht bestanden hat und die kantonale Notariatsprüfungskommission ihm mit Verfügung vom 9. April 2013 sowohl das Prüfungsergebnis als auch den Ausschluss von weiteren Wiederholungen mitteilte. Diese Verfügung war mit einer Rechtsmittelbelehrung versehen. Die vom Beschwerdeführer erhobenen Rechtsmittel blieben erfolglos. Mit dem Urteil des Bundesgerichts 2D_2/2014 vom 16. Juni 2014 wurde die Verfügung der Notariatsprüfungskommission vom 9. April 2013 rechtskräftig bestätigt. Auf ein erneutes Zulassungsgesuch des Beschwerdeführers vom 21. Januar 2016 hin bestätigte der Kantonsgerichtspräsident mit Schreiben vom 3. Februar 2016, dass ein Bewerber nach dreimaligem Misserfolg nicht mehr zur Prüfung zugelassen werde. Auf eine Beschwerde gegen diese Mitteilung ist das Kantonsgericht mit dem angefochtenen Entscheid vom 9. August 2016 nicht eingetreten.
3.2. Der definitive Ausschluss des Beschwerdeführers von einer weiteren Notariatsprüfung wurde bereits am 9. April 2013 durch die Notariatsprüfungskommission verfügt, und es bestand die Möglichkeit, den Ausschluss im Rahmen seiner Beschwerde gegen diese Verfügung anzufechten. Der Beschwerdeführer hat aber in seiner damaligen Beschwerde an das Kantonsgericht den Ausschluss von weiteren Prüfungen nicht beanstandet. In seiner Nachbegründung zur damaligen Verwaltungsgerichtsbeschwerde an das Kantonsgericht beantragte er zwar in allgemeiner Weise, die Beschränkung der Anzahl der Prüfungsversuche sei aufzuheben. Das Kantonsgericht legte in seinem Entscheid vom 18. November 2013 indes dar, dass es zur Behandlung von Anträgen auf Abänderung der Prüfungsverordnung nicht zuständig sei und deshalb darauf nicht eintreten könne. Im anschliessenden bundesgerichtlichen Verfahren 2D_2/2014 stellte der Beschwerdeführer den Antrag auf Aufhebung der Verfügung vom 9. April 2013. Darauf trat das Bundesgericht wegen des Devolutiveffekts zwar nicht ein; indessen galt die erstinstanzliche Verfügung als inhaltlich mit angefochten (Urteil 2D_2/2014 vom 16. Juni 2014 E. 1.6 mit Hinweisen). Der definitive Ausschluss des Beschwerdeführers von der Notariatsprüfung als Folge des Nichtbestehens der Prüfung im dritten Versuch war nicht Thema des bundesgerichtlichen Entscheids, da er vom Beschwerdeführer nicht beanstandet wurde. Die Verfügung vom 9. April 2013 und damit auch der definitive Ausschluss von weiteren Prüfungen erwuchs in formelle Rechtskraft, nachdem sämtliche dagegen erhobenen Rechtsmittel abgewiesen wurden.
3.3. Formelle Rechtskraft bedeutet, dass die Verfügung mit keinem ordentlichen Rechtsmittel mehr angefochten werden kann; das Verfahren hat seinen Abschluss gefunden. Dies ist etwa der Fall, wenn die Rechtsmittelfrist unbenutzt abgelaufen ist, wenn von vornherein kein ordentliches Rechtsmittel mehr gegeben ist, bei einem ausdrücklichen Verzicht auf ein ordentliches Rechtsmittel oder bei Rückzug des ordentlichen Rechtsmittels. Als ordentliches Rechtsmittel gelten auch die Beschwerde in öffentlich-rechtlichen Angelegenheiten und die subsidiäre Verfassungsbeschwerde (vgl. Pierre Tschannen/Ulrich Zimmerli/Markus Müller, Allgemeines Verwaltungsrecht, 4. Aufl. 2014, § 31 N. 5 und 6; Häfelin/Müller/Uhlmann, Allgemeines Verwaltungsrecht, 7. Aufl. 2016, Rz. 1091 f.; Kiener/Rütsche/Kuhn, Öffentliches Verfahrensrecht, 2. Aufl. 2015, Rz. 848).
Das Schreiben des Kantonsgerichtspräsidenten vom 3. Februar 2016 erscheint vor diesem Hintergrund als reine Bestätigung des rechtskräftig gewordenen Prüfungsausschlusses vom 9. April 2013. Es ist nichtersichtlich und wird vom Beschwerdeführer auch nicht geltend gemacht, dass sich die Verhältnisse geändert hätten oder ein anderer Grund für eine Neubeurteilung des rechtskräftigen Ausschlusses oder für eine Wiedererwägung der Verfügung vom 9. April 2013vorliegen könnte. Der Beschwerdeführer stellt auch nicht in Abrede, dass ihm gegen die Verfügung vom 9. April 2013 bereits einmal der verfassungs- und konventionskonforme Zugang zur gerichtlichen Beurteilung durch das Kantonsgericht und das Bundesgericht offen stand.
Somit ist nicht zu beanstanden, dass das Kantonsgericht auf die Beschwerde nicht eingetreten ist, die sich formell zwar gegen das Schreiben des Kantonsgerichtspräsidenten vom 3. Februar 2016 richtete, inhaltlich indessen den rechtskräftig gewordenen Prüfungsausschluss vom 9. April 2013 betraf. Bei dieser Rechtslage erübrigt sich die Prüfung der vom Beschwerdeführer aufgeworfenen Frage der Zuständigkeit des Kantonsgerichts. Unter diesen Umständen konnte sich auch eine allfällige Verletzung der Weiterleitungspflicht durch das Kantonsgericht (<ref-law>) nicht zum Nachteil des Beschwerdeführers auswirken. Auf die Beschwerde ist insoweit nicht einzutreten.
4.
Zusammenfassend ergibt sich, dass die Beschwerde abzuweisen ist, soweit darauf eingetreten werden kann.
Dem Ausgang des bundesgerichtlichen Verfahrens entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>). Es werden keine Parteientschädigungen zugesprochen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Das Ausstandsgesuch wird als gegenstandslos abgeschrieben.
2.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Es werden keine Parteientschädigungen zugesprochen.
5.
Dieses Urteil wird den Parteien, der Notariatsprüfungskommission des Kantons Luzern und dem Kantonsgericht Luzern, 1. Abteilung, schriftlich mitgeteilt.
Lausanne, 16. Februar 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Straub