Sachverhalt:
A.
Am 26. August 2019 meldete das Bezirksgericht Zurzach bei der Anwaltskommission des Kantons Aargau (nachfolgend: Anwaltskommission) eine mögliche Verletzung von Berufsregeln durch Rechtsanwalt A._. Er habe für seine Klientin im bezirksgerichtlichen Zivilverfahren um unentgeltliche Rechtspflege ersucht und dabei eingeforderte und entgegengenommene Kostenvorschüsse nicht offengelegt.
B.
Mit Entscheid vom 25. Juni 2020 belegte die Anwaltskommission A._ mit einem Verweis wegen Verletzung der Berufsregeln gestützt auf <ref-law> (Bundesgesetz vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte; SR 935.61) und auferlegte ihm eine Verfahrensgebühr von Fr. 2'000.--. Der dagegen eingereichte Rekurs blieb erfolglos (Urteil des Verwaltungsgerichts des Kantons Aargau vom 9. Februar 2021).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 18. März 2021 beantragt A._ die Aufhebung des vorinstanzlichen Urteils; die Staatsgebühren von Fr. 1'500.-- sowie die Kanzleigebühren von Fr. 143.-- seien auf die Staatskasse zu nehmen; ihm sei eine Parteientschädigung in gerichtlich genehmigter Höhe auszurichten; eventualiter sei die Angelegenheit an das Verwaltungsgericht des Kantons Aargau zurückzuweisen.
Während die Vorinstanz sich vernehmen lässt und beantragt, die Beschwerde abzuweisen, insoweit darauf einzutreten sei, hat die Anwaltskommission auf eine Vernehmlassung verzichtet. A._ hat mit Eingabe vom 10. Juni 2021 repliziert. Das Eidgenössische Justiz- und Polizeidepartement lässt sich nicht vernehmen.

Erwägungen:
1.
Angefochten ist ein Endentscheid einer letzten oberen kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts (Anwaltsrecht), die unter keinen Ausschlussgrund fällt (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 BGG). Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist somit zulässig. Der Beschwerdeführer ist ausserdem durch den Entscheid besonders berührt und verfügt über ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Auf die im Übrigen form- und fristgerecht (Art. 42 Abs. 1 und 2 und <ref-law>) eingereichte Beschwerde ist einzutreten.
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung verfügt das Bundesgericht über volle Kognition und wendet das Recht von Amtes wegen an (<ref-law>; <ref-ruling> E. 4.4.5). Die Verletzung von verfassungsmässigen Individualrechten (einschliesslich der Grundrechte) und von kantonalem Recht prüft das Bundesgericht nur, soweit eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (qualifizierte Rüge- und Begründungspflicht gemäss <ref-law>; <ref-ruling> E. 1.7.2).
2.2. Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur soweit vorgebracht werden, als erst der vorinstanzliche Entscheid dazu Anlass gibt (unechte Noven; <ref-law>; <ref-ruling> E. 2.1). Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig (<ref-ruling> E. 1.2, mit Hinweisen).
Die durch den Beschwerdeführer eingereichte Replik der Klientin des Beschwerdeführers im Verfahren vor dem Obergericht des Kantons Aargau vom 4. September 2019 ist nicht zu berücksichtigen, da nicht erst das vorinstanzliche Urteil dazu Anlass gab. Die Vorinstanz hat den unterinstanzlichen Entscheid sowohl in sachverhaltlicher als in rechtlicher Hinsicht im Wesentlichen bestätigt, weshalb nicht ersichtlich ist - und im Übrigen auch nicht rechtsgenügend dargetan wird - weshalb der Beschwerdeführer die Rechtsschrift erst im bundesgerichtlichen Verfahren einreichte. Nicht unter das Novenverbot fallen demgegenüber die vom Beschwerdeführer beigelegten Entscheide des Obergerichts des Kantons Aargau vom 9. September 2019 sowie die Verfügung des Bezirksgerichts Zurzach vom 26. März 2020, da es sich um allgemein zugängliche amtliche Dokumente handelt, die als gerichtsnotorisch gelten (vgl. sinngemäss Urteil 9C_297/2010 vom 23. September 2010 E. 4.2.1).
3.
Der Beschwerdeführer rügt eine unrichtige Sachverhaltsfeststellung durch die Vorinstanz und macht eine Verletzung seines rechtlichen Gehörs geltend.
3.1.
3.1.1. Gemäss <ref-law> kann die Feststellung des Sachverhalts nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich (<ref-law>) ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-ruling> E. 2.2). Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn (an ihr) Zweifel bestehen, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1). Inwiefern die vorinstanzliche Beweiswürdigung bzw. Sachverhaltsfeststellung offensichtlich unhaltbar ist, muss in der Beschwerdeschrift klar und detailliert aufgezeigt werden; an die diesbezügliche Begründung gelten, wie bei den in <ref-law> genannten Rügen, strenge Anforderungen (<ref-ruling> E. 9.2.3.6; Urteil 2C_325/2018 vom 18. Februar 2019 E. 2). Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. In der Beschwerdeschrift muss detailliert aufgezeigt werden, inwiefern die vorinstanzliche Beweiswürdigung bzw. die Sachverhaltsfeststellung klarerweise unhaltbar ist. Es gilt eine qualifizierte Begründungspflicht (<ref-ruling> E. 4.2).
3.1.2. Das rechtliche Gehör (<ref-law>) verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt (<ref-ruling> E. 5.2). <ref-law> räumt jedoch keinen Anspruch auf mündliche Anhörung ein (<ref-ruling> E. 2.1). Auch steht der Gehörsanspruch einer vorweggenommenen Beweiswürdigung nicht entgegen. Das Gericht kann auf die Abnahme von Beweisen verzichten, wenn es aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür annehmen kann, seine Überzeugung werde durch weitere Beweiserhebungen nicht geändert (<ref-ruling> E. 3).
3.2. Der Vorwurf des Beschwerdeführers, die Vorinstanz habe fälschlicherweise festgehalten, dass er vor der Anwaltskommission anerkannt habe, den Kostenvorschuss im zivilrechtlichen Verfahren nicht offengelegt zu haben, zielt ins Leere. Die Feststellung der Vorinstanz bezog sich lediglich darauf, dass er vor dieser Kommission zugegeben habe, diesen im Zeitpunkt der Einreichung des Gesuchs um unentgeltliche Rechtspflege nicht offengelegt habe. Unzutreffend ist ferner die Aussage des Beschwerdeführers, die Vorinstanz habe in Erwägung 1.2 ihres Urteils ausgeführt, er habe sich durch seine Klientin entschädigen lassen. Die Vorinstanz hat darin lediglich die Erwägungen der Unterinstanz zur Pflichtwidrigkeit der Einforderung von Kostenvorschüssen von einer unentgeltlich vertretenen Partei wiedergegeben.
3.3. Schliesslich geht auch die Kritik des Beschwerdeführers fehl, die Vorinstanz habe gegen <ref-law> verstossen, indem sie ihn zur Frage der Offenlegung des Kostenvorschusses nicht angehört habe. Zum Anspruch auf rechtliches Gehör gehört das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheides zur Sache zu äussern sowie das Recht auf Abnahme der rechtzeitig und formrichtig angebotenen rechtserheblichen Beweismittel. Indessen räumt <ref-law> keinen Anspruch auf eine mündliche Anhörung ein (<ref-ruling> E. 5.3). Keine Verletzung des rechtlichen Gehörs liegt vor, wenn ein Gericht darauf verzichtet, beantragte Beweise abzunehmen, weil es aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 3.3). Die Vorinstanz konnte ohne in Willkür zu verfallen auf eine Anhörung des Beschwerdeführers verzichten, da sie ihm nicht, wie er vorgibt, "generell und undifferenziert" vorgeworfen hat, den Kostenvorschuss nicht offengelegt zu haben; jedenfalls begründet die pauschale Kritik keinen Anspruch auf mündliche Anhörung.
3.4. Da der Beschwerdeführer nicht aufzeigt, dass die vorinstanzlichen Feststellungen offensichtlich unrichtig wären bzw. eine willkürliche Beweiswürdigung vorgenommen worden wäre, entscheidet das Bundesgericht auf Grundlage des Sachverhalts, den die Vorinstanz festgestellt hat (<ref-law>).
4.
Der Beschwerdeführer rügt, die Vorinstanz habe zu Unrecht auf eine Verletzung von Art. 12 des Bundesgesetzes über die Freizügigkeit der Anwältinnen und Anwälte vom 1. Juni 2002 (BGFA, SR 935.61) geschlossen.
4.1. Das BGFA regelt in Art. 12 die Berufsregeln der Anwältinnen und Anwälte. Insbesondere haben sie "ihren Beruf sorgfältig und gewissenhaft" auszuüben (<ref-law>). Diese Verpflichtung hat für die gesamte Berufstätigkeit Geltung und erfasst neben der Beziehung zum eigenen Klienten sowohl die Kontakte mit der Gegenpartei als auch jene mit den Behörden (<ref-ruling> E. 4.1; Urteil 2C_507/2019 vom 14. November 2019 E. 5.1.1, mit Hinweisen). Gemäss <ref-law> haben Rechtsanwälte von Bundesrechts wegen die Verpflichtung, Vertretungen im Rahmen der unentgeltlichen Rechtspflege zu übernehmen.
4.2. Nach <ref-law> hat jede Person, die nicht über die erforderlichen Mittel verfügt, Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, umfasst dies auch den Anspruch auf einen unentgeltlichen Rechtsbeistand.
Als bedürftig gilt eine Person, wenn sie die Kosten eines Prozesses nicht aufzubringen vermag, ohne jene Mittel anzugreifen, die für die Deckung des eigenen notwendigen Lebensunterhalts und desjenigen ihrer Familie erforderlich sind (<ref-ruling> E. 4.1; Urteil 4A_362/2018 vom 5. Oktober 2018 E. 4.1). Berücksichtigt werden sowohl die Einkommens- als auch die Vermögensverhältnisse der bedürftigen Person (<ref-ruling> E. 5.1). Ausgangslage für die Bestimmung der Mittellosigkeit ist das betreibungsrechtliche Existenzminimum, wobei die individuellen Umstände zu berücksichtigen sind (<ref-ruling> E. 2a). Der Grundbetrag gemäss Betreibungsrecht wird praxisgemäss um einen gewissen Prozentsatz erhöht und anschliessend um die effektiven Kosten für Wohnung, Krankenkasse, Arbeitsweg, Alimente etc. ergänzt (<ref-ruling> E. 4.1; STEFAN MEICHSSNER, Aktuelle Praxis der unentgeltlichen Rechtspflege, Jusletter 7, Dezember 2009, S. 6). Ist Vermögen vorhanden, wird geprüft, ob es zumutbar ist, dieses für das Verfahren anzugreifen. Soweit das Vermögen einen angemessenen "Notgroschen" übersteigt, ist dem Gesuchsteller unbesehen der Art der Vermögensanlage zumutbar, dieses zur Finanzierung des Prozesses zu verwenden (vgl. Urteil 9C_659/2016 vom 17. Januar 2017 E. 4.2).
Ein Prozess hat als aussichtslos zu gelten, wenn eine über die nötigen Mittel verfügende Partei bei vernünftiger Überlegung das Risiko eines Prozesses nicht eingehen würde, mit anderen Worten die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahr. Eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet (<ref-ruling> E. 2.2.4). Ob im Einzelfall genügende Erfolgsaussichten bestehen, beurteilt sich aufgrund einer vorläufigen und summarischen Prüfung der Prozessaussichten, wobei die Verhältnisse im Zeitpunkt der Einreichung des Gesuchs massgebend sind (<ref-ruling> E. 5.1).
4.3. Mit dem Mandat, für eine unbemittelte Partei als Rechtsvertreter tätig zu werden, übernimmt der Anwalt keinen privaten Auftrag (vgl. Urteil 8C_310/2014 vom 31. März 2015 E. 6.1). Er übernimmt eine staatliche Aufgabe und tritt zum Staat in ein Rechtsverhältnis, aufgrund dessen er einen öffentlichrechtlichen Anspruch auf Entschädigung im Rahmen der anwendbaren kantonalen Vorschriften hat (<ref-ruling> E. 3a). Der amtlich bestellte Rechtsbeistand darf sich von der verbeiständeten Partei nicht entschädigen lassen und ist insbesondere auch nicht befugt, sich eine zusätzliche Entschädigung zu derjenigen auszahlen zu lassen, welche er vom Staat erhält; eine Bezahlung durch die verbeiständete Partei ist selbst dann ausgeschlossen, wenn die öffentlichrechtliche Entschädigung nicht einem vollen Honorar entspricht (<ref-ruling> E. 1). Verstösst der unentgeltliche Rechtsbeistand gegen diesen Grundsatz, macht er sich disziplinarrechtlich verantwortlich (<ref-ruling> E. 3b).
4.4. Gemäss dem angefochtenen Urteil und den Akten liegt dem vorliegenden Disziplinarverfahren folgender Sachverhalt zugrunde:
4.4.1. Die Klientin des Beschwerdeführers erhielt am 30. November 2018 Fr. 33'000.-- unter Anrechnung an ihr erbrechtliches Vermächtnis von Fr. 320'000.-- ausbezahlt. Gutgeschrieben wurde der Betrag auf ein Klienten-Bankkonto des Beschwerdeführers. Am 13. Dezember 2018 behielt letzterer einen Kostenvorschuss von Fr. 5'000.-- unter der Bedingung zurück, dass er diesen bei Gutheissung der unentgeltlichen Rechtspflege der Klientin zurückerstatten würde. Am 9. Januar 2020 erhielt die Klientin einen weiteren Betrag von Fr. 11'500.-- in Anrechnung auf ihr Vermächtnis ausgezahlt. Am 19. August 2019 bzw. am 9. Januar 2020 hielt der Beschwerdeführer weitere Kostenvorschüsse in der Höhe Fr. 431.-- bzw. von Fr. 11'500.-- zurück.
4.4.2. Am 22. Februar 2019 ersuchte der Beschwerdeführer in einem erbrechtlichen Zivilverfahren das zuständige Gericht um unentgeltliche Rechtspflege für seine Klientin. Am 12. Juli 2019 wies der Gerichtspräsident des Bezirksgericht Zurzach sein Gesuch ab. Mit Entscheid vom 9. September 2019 hiess das Obergericht des Kantons Aargau eine dagegen erhobene Beschwerde teilweise gut, hob den vorinstanzlichen Entscheid auf und wies die Sache zur neuen Entscheidung an die Vorinstanz zurück. Die unentgeltliche Rechtspflege wurde schliesslich am 26. März 2020 unter der Voraussetzung bewilligt, dass die Gesuchstellerin einen allfälligen Prozessgewinn bis zur Höhe der auf sie entfallenden Gerichtskosten und Kosten der anwaltlichen Vertretung an die Gerichtskasse abtrete.
4.5. Die Vorinstanz kam gestützt darauf zum Schluss, dass der Beschwerdeführer gegen <ref-law> verstossen habe, insofern er einen Kostenvorschuss für den Fall der Abweisung des Gesuches um unentgeltliche Rechtspflege eingefordert und diesen bei dessen Einreichung gegenüber dem Gericht nicht offengelegt habe. Dabei sei unerheblich, dass der Kostenvorschuss angeblich aus dem sogenannten Notgroschen ("réserve de secours") stamme. Zum einen würde der Zweck der unentgeltlichen Rechtspflege unterlaufen, wenn eine bedürftige Person dem Rechtsvertreter im Voraus Sicherheit leiste und dafür für den Lebensunterhalt erforderliche Mittel einsetzen müsse, zum anderen müsse die ersuchte Instanz über vollständige Angaben zu Einnahmen und Ausgaben bzw. Vermögen und Schulden des Klienten verfügen, wenn sie über die unentgeltliche Rechtspflege entscheide.
4.6. Diese Würdigung ist nicht zu beanstanden.
4.6.1. Gemäss der bundesgerichtlichen Rechtsprechung stellt die Rechnungsstellung an eine verbeiständete Partei eine disziplinierungswürdige Standeswidrigkeit dar; der amtlich bestellte Rechtsbeistand darf sich von der verbeiständeten Partei nicht entschädigen lassen. Er ist insbesondere auch nicht befugt, sich eine zusätzliche Entschädigung zu derjenigen auszahlen zu lassen, welche er vom Staat erhält; eine Bezahlung durch die verbeiständete Partei ist selbst dann ausgeschlossen, wenn die öffentlichrechtliche Entschädigung nicht einem vollen Honorar entspricht (vgl. <ref-ruling> E. 3b; <ref-ruling> E. 3). Unzulässig ist ferner die Einforderung von Kostenvorschüssen, und zwar nicht nur ab Verbeiständung, sondern ebenfalls, wenn das Gesuch um Verbeiständung eingereicht, darüber aber noch nicht entschieden worden ist (vgl. Urteil 2A.196/2005 vom 26. September 2005 E. 2.3).
4.6.2. Insofern der Beschwerdeführer vorbringt, dass die Einbehaltung eines Kostenvorschusses zur Sicherung seiner Forderungen im Falle der Abweisung des Gesuches um unentgeltliche Rechtspflege nicht gegen <ref-law> verstosse, zielt seine Kritik ins Leere. Der Lehrmeinung, wonach es dem Anwalt gestattet sein müsse, in Fällen, in denen die Gewährung der unentgeltlichen Rechtspflege fraglich ist, einen Kostenvorschuss zur Sicherung seiner Forderungen zu verlangen (vgl. Stefan Meichssner, a.a.O., S. 12), ist nicht zu folgen. Die Einforderung eines "bedingten" Kostenvorschusses ist gleichermassen geeignet, in die Mittel einzugreifen, welche eine bedürftige Person zur Deckung ihres notwendigen Lebensunterhalts bedarf. Damit werden der bedürftigen Person Mittel entzogen, die ihr nicht mehr uneingeschränkt zur Verfügung stehen. Unbehelflich ist in diesem Zusammenhang der Einwand, der Tochter der Mandantin des Beschwerdeführers sei ausdrücklich zugesichert worden, dass der Kostenvorschuss bei Gutheissung des Gesuches sofort zurückerstattet würde. Solange das Gericht nicht über das Gesuch entschieden hatte, standen der Klientin die zur Bestreitung ihres Lebensunterhalts notwendigen Mittel in der Höhe des Kostenvorschusses nicht zur Verfügung.
4.6.3. Zu berücksichtigen ist in diesem Zusammenhang ferner, dass ein Gesuch um unentgeltliche Rechtspflege nicht nur am Nachweis der Mittellosigkeit scheitern kann, sondern auch wenn das Gericht zur Auffassung gelangt, das Verfahren sei aussichtslos. Der Anwalt könnte in diesem Fall seine Forderungen selbst bei erwiesener Mittellosigkeit seines Klienten mit dem geleisteten Kostenvorschuss verrechnen. Dies widerspricht dem Schutzzweck der unentgeltlichen Rechtspflege, einer mittellosen Person das Prozessieren ohne Eingriff in ihren notwendigen Lebensunterhalt zu ermöglichen. Im Übrigen gehört es zu den Berufspflichten des Rechtsanwalts, die Chancen eines Prozesses sorgfältig zu beurteilen, weshalb es ihm zuzumuten ist, das mit der Einreichung des Gesuchs um unentgeltliche Rechtspflege verbundene Risiko zu tragen. Letzteres wird nicht zuletzt dadurch eingegrenzt, dass es den Behörden obliegt, solche Gesuche zügig zu behandeln, damit der Anwalt davor bewahrt wird, eine grosse Anzahl von Handlungen vornehmen zu müssen, ohne schliesslich weder von seinem Klienten noch vom Staat entschädigt zu werden.
4.6.4. Eine Verletzung von <ref-law> wird auch nicht dadurch ausgeschlossen, dass der Kostenvorschuss aus der Erbanwartschaft der Klientin stammte. Es ist grundsätzlich unerheblich, mit welchem Vermögenswert des Klienten die Forderungen eines Anwalts sichergestellt werden (vgl. <ref-ruling> E. 4.2.4). Des Weiteren geht der Beschwerdeführer fehl, insofern er sich darauf beruft, dass aufgrund der Resolutivbedingung keine Verletzung von <ref-law> vorliege. Diese Bestimmung schützt die bedürftige Person nicht nur vor Doppelzahlungen; diese soll vielmehr vor allen Eingriffen bewahrt werden, welche geeignet sind, in die Mittel zur Bestreitung ihres notwendigen Lebensunterhalts einzugreifen. Schliesslich ist auch nicht ersichtlich, dass der bedingte Kostenvorschuss im Interesse der Klientin des Beschwerdeführers gewesen wäre.
4.6.5. Der Beschwerdeführer vermag auch nichts zu seinen Gunsten ableiten, dass der Kostenvorschuss angeblich aus dem "Notgroschen" der Klientin stammte. Dieser dient als Notreserve für laufende und künftige Auslagen eines Klienten. Die Tatsache, dass er bei der Beurteilung der prozessualen Bedürftigkeit des Klienten nicht einbezogen wird, hat nicht zur Folge, dass der Anwalt seine Forderungen damit befriedigen darf. Dies widerspricht Sinn und Zweck einer Notreserve.
4.6.6. Dem Beschwerdeführer ist schliesslich auch nicht zu folgen, insoweit er geltend macht, dass solange ein Kostenvorschuss aus dem sogenannten Notgroschen erfolgt, dessen Offenlegung nicht zwingend notwendig sei. Die Offenlegung soll dem Gericht eine Gesamtsicht über sämtliche Vermögensflüsse der zu schützenden Person ermöglichen. Es ist nicht ersichtlich, weshalb der Notgroschen davon ausgenommen wäre. Daran ändert auch nichts, dass dieser bei dem Entscheid über die unentgeltliche Rechtspflege nicht berücksichtigt wird.
4.6.7. Unbehelflich ist schliesslich auch der Einwand, dass der Bundesgerichtsentscheid 2A.196/2005 vorliegend nicht einschlägig sei, weil es sich um einen Erbrechtsfall gehandelt habe, der aufgrund seiner Verfahrenslänge und Komplexität sehr aufwändig war und bei dem dringender Handlungsbedarf bestand. Der bedürftigen Personen durch die unentgeltliche Rechtspflege gewährte Schutz vermag dadurch nicht eingeschränkt werden. Schliesslich kann der Beschwerdeführer auch nichts zu seinen Gunsten daraus ableiten, dass der Kostenvorschuss aufgrund des hohen Alters seiner Klientin nötig gewesen sei, um seine wirtschaftliche Unabhängigkeit zu gewährleisten. Das Vorliegen einer solchen Gefahr ist nicht ersichtlich, noch wird diese näher konkretisiert.
4.7. Die Rügen des Beschwerdeführers erweisen sich, insoweit sie genügend substanziiert sind, als unbegründet. In Übereinstimmung mit der Vorinstanz ist festzuhalten, dass die Einforderung eines bedingten Kostenvorschusses zur Sicherstellung von Forderungen des Armenanwalts sowie dessen Nichtoffenlegung <ref-law> verletzt.
5.
Der Beschwerdeführer macht ferner geltend, die gegen ihn ausgesprochene Disziplinarmassnahme verletze das Verhältnismässigkeitsprinzip.
5.1. Praxisgemäss rechtfertigt eine unsorgfältige Berufsausübung im Sinne dieser Bestimmung ein staatliches Eingreifen nur dann, wenn diese objektiv eine solche Schwere erreicht, dass - über die bestehenden Rechtsbehelfe aus Auftragsrecht wegen unsorgfältiger Mandatsführung hinaus - eine zusätzliche Sanktion im überwiegenden öffentlichen Interesse liegt und verhältnismässig erscheint. Diese Voraussetzung ist erst bei einer qualifizierten Norm- bzw. Sorgfaltswidrigkeit - mithin bei einem bedeutsamen Verstoss gegen die Berufspflichten ("un manquement significatif aux devoirs de la profession") - gegeben (<ref-ruling> E. 4.1, mit Hinweisen; Urteil 2C_500/2020 vom 17. März 2021 E. 4.3). Disziplinarrechtlich relevant sind nur qualifizierte bzw. bedeutsame Verstösse gegen die Berufspflichten.
5.2. Bei Verletzungen der Sorgfaltspflichten kann die Aufsichtsbehörde gemäss <ref-law> als Disziplinarmassnahme eine Verwarnung (lit. a), einen Verweis (lit. b), eine Busse (lit. c) oder ein befristetes (lit. d) oder dauerndes (lit. e) Berufsausübungsverbot anordnen. Die Bestimmung der zu ergreifenden Disziplinarmassnahme ist vorab Sache der zuständigen Aufsichtsbehörde. Anders als bei der Frage, ob ein Verstoss gegen die Berufsregeln vorliegt, welche das Bundesgericht mit freier Kognition prüft, auferlegt sich dieses Zurückhaltung, soweit es um die auszufällende Massnahme geht. Insoweit greift das Bundesgericht nur ein, wenn die angefochtene Disziplinarsanktion den Rahmen des pflichtgemässen Ermessens sprengt und damit als klar unverhältnismässig und geradezu willkürlich erscheint (Urteil 2C_933/2018 vom 25. März 2019 E. 6).
5.3. Die Vorinstanz hat zu Gunsten des Beschwerdeführers dem Umstand Rechnung getragen, dass gegen ihn bisher noch keine Disziplinarmassnahmen ausgesprochen worden sind. Sie stellte jedoch fest, dass es sich bei <ref-law> um eine bedeutende Vorschrift handle, die das Vertrauen in die Anwaltschaft schütze. Der Beschwerdeführer habe mehrfach dagegen verstossen. Der Verstoss habe umso mehr Gewicht, als der Beschwerdeführer auch noch nach der Gesuchstellung um die unentgeltliche Rechtspflege zwei weitere Male einen Kostenvorschuss zurückbehielt.
Diese Würdigung ist nicht zu beanstanden. Durch die Einforderung bzw. Rückbehaltung von drei Kostenvorschüssen hat der Beschwerdeführer in grober Weise gegen seine Berufspflichten verstossen. Erschwerend kommt hinzu, dass diese nicht rechtzeitig dem zuständigen Gericht offengelegt wurden. Aufgrund dieser Umstände ist es im Lichte von <ref-law> weder unverhältnismässig noch willkürlich, einen Verweis auszusprechen, welcher im unteren Bereich des gesetzlichen Rahmens liegt.
6.
Nach dem Gesagten ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten abzuweisen. Bei diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 65 i.V.m. <ref-law>). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Aargau, 3. Kammer, und dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
Lausanne, 3. November 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: de Sépibus