Erwägungen:
1.
Mit Strafbefehl vom 16. August 2012 wurde Rechtsanwalt A._ wegen mehrfacher Widerhandlung gegen das Bundesgesetz vom 20. Dezember 1946 über die Alters- und Hinterlassenenversicherung (AHVG; SR 831.10) zu einer Geldstrafe von 90 Tagessätzen à je Fr. 340.-- verurteilt. Die Verurteilung erwuchs in Rechtskraft. Aufgrund dieses Straferkenntnisses löschte die Aufsichtsbehörde über die Anwältinnen und Anwälte des Kantons Luzern A._ mit Entscheid vom 4. September 2013 aus dem Anwaltsregister. Die vom Betroffenen gegen diese administrative Massnahme erhobene Beschwerde wurde vom Kantonsgericht Luzern, 1. Abteilung, mit Urteil vom 20. Januar 2014 abgewiesen.
2.
Hierauf wendet sich A._ mit einem als "Verfassungsbeschwerde" bezeichneten Rechtsmittel ans Bundesgericht. Da vorliegend keiner der Ausschlussgründe von Art. 83 BGG Anwendung findet, unterliegt der angefochtene, kantonal letztinstanzliche Endentscheid (vgl. Art. 86 Abs. 1 lit. d BGG) jedoch der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 lit. a BGG), was die Zulässigkeit der subsidiären Verfassungsbeschwerde ausschliesst (Art. 113 BGG). Die falsche Bezeichnung in der Rechtsschrift schadet aber nicht, falls die formellen Voraussetzungen des statthaften Rechtsmittels erfüllt sind (BGE 136 II 497 E. 3.1 S. 499 mit Hinweisen). Dies trifft hier zu, so dass die Eingabe als Beschwerde in öffentlich-rechtlichen Angelegenheiten entgegenzunehmen ist.
3.
Indes erweist sich die Beschwerde als offensichtlich unbegründet, weshalb sie ohne Weiterungen im vereinfachten Verfahren nach Art. 109 BGG (summarische Begründung / Verweis auf den angefochtenen Entscheid) erledigt werden kann:
3.1. Der Beschwerdeführer erhebt keine materiellen Einwände gegen den angefochtenen Entscheid. In formeller Hinsicht behauptet er dagegen, das vorinstanzliche Verfahren vermöge aufgrund der personellen Zusammensetzung des Kantonsgerichts dem Anspruch auf einen unabhängigen Richter im Sinne von Art. 30 Abs. 1 BV resp. Art. 6 Ziff. 1 EMRK nicht zu genügen. Einerseits habe am angefochtenen Entscheid Kantonsrichter X._ mitgewirkt, welcher in seiner damaligen Funktion als Staatsanwalt am Strafverfahren beteiligt gewesen sei, welches zum Strafbefehl vom 16. August 2012 geführt habe. Andererseits seien sowohl die Präsidentin der Kantonalen Aufsichtsbehörde über die Anwältinnen und Anwälte, Kantonsrichterin Y._, als auch die Aktuarin der Kommission, Gerichtsschreiberin Z._, Mitglieder der 1. Abteilung des Kantonsgerichts Luzern, welche das angefochtene Urteil vom 20. Januar 2014 gefällt habe. Zwar hätten diese beiden Personen nicht im Spruchkörper mitgewirkt, doch gehe die Mitgliedschaft in derselben Abteilung eines Gerichts über eine blosse Kollegialität hinaus, weswegen sämtliche Mitglieder der 1. Abteilung des Kantonsgerichts Luzern die Voraussetzungen als unabhängige und unparteiische Richter nicht erfüllten.
3.2. Die Rügen können nicht gehört werden: Der Grundsatz von Treu und Glauben sowie das Verbot des Rechtsmissbrauchs verlangen, dass ein Ablehnungsgrund unverzüglich nach Kenntnisnahme geltend gemacht wird, andernfalls der Anspruch auf dessen Anrufung als verwirkt gilt (vgl. BGE 138 I 1 E. 2.2 S. 4; 136 I 207 E. 3.4 S. 211; 135 III 334 E. 2.2 S. 336). Im vorliegenden Fall wusste der Beschwerdeführer anhand des Rubrums, welche Personen am Entscheid der Aufsichtsbehörde vom 4. September 2013 mitgewirkt hatten. Wie sich aus dem Ausdruck der Internetseite des Kantonsgerichts Luzern ergibt, welchen der Beschwerdeführer selbst als Beschwerdebeilage eingereicht hat, war aus dieser öffentlich zugänglichen Quelle zum einen ebenfalls ersichtlich, dass die 1. Abteilung des Kantonsgerichts für die Behandlung von Verwaltungsgerichtsbeschwerden gegen Entscheide der Aufsichtsbehörde über die Anwältinnen und Anwälte zuständig ist und zum andern welche Richter und Gerichtsschreiber der 1. Abteilung zugeteilt sind. Es wäre dem Beschwerdeführer deshalb ohne Weiteres möglich und auch zuzumuten gewesen, seine Einwände gegen die betreffenden Gerichtspersonen bereits im vorinstanzlichen Verfahren vorzubringen. Da er dies unterlassen hat und erst vor Bundesgericht Ausstandsgründe gegen die vorinstanzlichen Gerichtsmitglieder geltend macht, erweist sich seine Rüge als verspätet.
3.3. Ohnehin wären die Rügen auch inhaltlich unbegründet:
Der Vernehmlassung des Kantonsgerichts - welcher vom Beschwerdeführer trotz Gelegenheit zur Stellungnahme nicht widersprochen wurde - kann entnommen werden, dass der damalige Staatsanwalt X._ per Ende Juni 2012 aus dem Dienst der Staatsanwaltschaft ausschied und fortan seine neue Funktion als Kantonsrichter ausübte. Als Staatsanwalt hat er im Strafverfahren gegen den Beschwerdeführer am 19. Juni 2012 bloss noch mittels eines Routineschreibens die Luzerner Polizei mit der Durchführung von Ermittlungen bzw. der delegierten Einvernahme des Beschwerdeführers beauftragt. Dies blieb die einzige Verfahrenshandlung vor seinem Wechsel ans Kantonsgericht. Per 1. Juli 2012 übernahm sein Nachfolger bei der Staatsanwaltschaft die formelle Leitung des Strafverfahrens gegen den Beschwerdeführer. Die polizeiliche Befragung des Beschwerdeführers fand erst am 9. Juli 2012 und mithin erst nach erfolgter Dossierübergabe statt, so dass X._ weder von den Ermittlungsergebnissen Kenntnis nehmen noch den späteren Entscheid der Strafbehörde beeinflussen konnte. Bei dieser Sachlage stellt die Mitwirkung von Kantonsrichter X._ am hier einzig angefochtenen Beschwerdeentscheid gegen die angeordnete Administrativmassnahme keinen Verstoss gegen die vom Beschwerdeführer angerufenen grundrechtlichen Bestimmungen dar. Dies gilt umso mehr, als die Verurteilung des Beschwerdeführers im rechtskräftig abgeschlossenen Strafverfahren jedenfalls nicht mehr unmittelbar Gegenstand des darauffolgenden Administrativverfahrens bildete; letzteres befasste sich vielmehr mit der Frage, ob sich die vom Beschwerdeführer unbestrittenermassen begangenen Delikte mit der weiteren Ausübung des Anwaltsberufs vereinbaren lassen.
Bezüglich des vom Beschwerdeführer geforderten Ausstands der gesamten 1. Abteilung des Kantonsgerichts, unabhängig von einer Vorbefassung, ist schliesslich auf die ständige bundesgerichtliche Praxis zu verweisen: Demnach bewirkt der blosse Umstand, dass ein Richter den Entscheid eines Gremiums zu überprüfen hat, an dessen Fällung Personen mitgewirkt haben, mit denen zusammen er in derselben Kollegialbehörde tätig ist, für sich allein noch keine Befangenheit und es führt dies noch nicht zum Verlust der Unabhängigkeit. Gleiches gilt auch für die blosse Kollegialität der urteilenden Richter (Urteil 2C_133/2012 vom 18. Juni 2012 E. 3 mit Hinweisen). Weshalb dies im vorliegenden Fall einzig wegen der Zuteilung in eine bestimmte Abteilung anders sein soll, zeigt der Beschwerdeführer nicht auf; vielmehr beschränkt er sich in diesem Zusammenhang auf unsubstantiierte Behauptungen, womit er seiner qualifizierten Rügepflicht bei behaupteten Verletzungen von Grundrechten nicht genügt (vgl. Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; BGE 134 II 244 E. 2.2 S. 246).
4.
Nach dem Ausgeführten ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten abzuweisen.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Das Rechtsmittel wird als Beschwerde in öffentlich-rechtlichen Angelegenheiten entgegengenommen und abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Kantonsgericht Luzern, 1. Abteilung, sowie dem Bundesamt für Justiz schriftlich mitgeteilt.
Lausanne, 19. Mai 2014
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Zähndler