Sachverhalt:
A.
Mit Verfügung vom 24. April 2019 forderte die Öffentliche Arbeitslosenkasse des Kantons Aargau von A._, geboren 1986, zu viel ausgerichtete Arbeitslosenentschädigung in Höhe von Fr. 9733.20 zurück. An ihrer Rückforderungsverfügung hielt sie auf A._s Einsprache hin fest (Einspracheentscheid vom 17. Juni 2019). Das Versicherungsgericht des Kantons Aargau bestätigte diesen Entscheid (Urteil vom 2. April 2020). Auf die dagegen erhobene Beschwerde trat das Bundesgericht nicht ein (Urteil vom 3. Juni 2020).
Am 7. September 2020 ersuchte A._ bei der Öffentlichen Arbeitslosenkasse des Kantons Aargau um Erlass der Rückforderung von Fr. 9733.20. Diese leitete das Gesuch an das Amt für Wirtschaft und Arbeit (AWA) des Kantons Aargau (nachfolgend: AWA oder Beschwerdegegner) zur Bearbeitung weiter, welches es in Verneinung der Gutgläubigkeit ablehnte (Verfügung vom 26. Dezember 2020). Daran hielt das AWA auf Einsprache des A._ hin fest (Einspracheentscheid vom 23. März 2021).
B.
Auf die hiergegen erhobene Beschwerde des A._ trat das Versicherungsgericht des Kantons Aargau mangels Wohnsitz im Kanton nicht ein und überweis die Sache zuständigkeitshalber an das Versicherungsgericht des Kantons Solothurn zur materiellen Beurteilung (Urteil vom 25. Mai 2021). Dieses verneinte ebenfalls, dafür örtlich zuständig zu sein, und trat auf die Beschwerde nicht ein (Urteil vom 25. August 2021).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, das Versicherungsgericht des Kantons Aargau, eventualiter dasjenige des Kantons Solothurn, sei als örtlich zuständig zu erklären und zu verpflichten, auf die Beschwerde gegen den Einspracheentscheid des AWA vom 23. März 2021 einzutreten. Zudem ersucht der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege.
Während das Versicherungsgericht des Kantons Solothurn auf die örtliche Zuständigkeit des Versicherungsgerichts des Kantons Aargau schliesst, verzichten letzteres und das AWA auf eine Vernehmlassung.

Erwägungen:
1.
Mit der (rechtzeitig) gegen den Nichteintretensentscheid des Versicherungsgerichts des Kantons Solothurn vom 25. August 2021 eingereichten Beschwerde gilt auch der Nichteintretensentscheid des Versicherungsgerichts des Kantons Aargau vom 25. Mai 2021 als (rechtzeitig) angefochten (Art. 100 Abs. 1 und 5 BGG; SVR 2019 UV Nr. 32 S. 119, 8C_750/2018 E. 1, nicht publ. in: <ref-ruling> mit Hinweisen). Bei den angefochtenen Nichteintretensentscheiden handelt es sich um Endentscheide im Sinne von <ref-law>, mit welchen die kantonalen Gerichte ihre örtliche Zuständigkeit verneint haben. Hiergegen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (Art. 82 lit. a und <ref-law>; <ref-ruling> E. 1 mit Hinweisen).
2.
2.1. Gegen Einspracheentscheide kantonaler Amtsstellen betreffend Erlassgesuche (<ref-law>) kann beim zuständigen kantonalen Versicherungsgericht Beschwerde erhoben werden (Art. 56 Abs. 1 und Art. 57 ATSG i.V.m. <ref-law> und <ref-law>).
2.2. Für die Sozialversicherungsverfahren sieht <ref-law> hinsichtlich der örtlichen Zuständigkeit der kantonalen Gerichte als Grundregel vor, das Versicherungsgericht desjenigen Kantons sei zuständig, in dem die versicherte Person oder der Beschwerde führende Dritte zur Zeit der Beschwerdeerhebung Wohnsitz hat. Dabei gilt es Abweichungen in Form von Sonderbestimmungen einzelner Sozialversicherungszweige zu beachten (vgl. <ref-ruling> E. 3.2.3; Urteil 9C_738/2020 vom 7. Juni 2021 E. 2.2; Botschaft über die Anpassung des Anhangs zum Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts [ATSG; Revision des Anhangs] vom 7. November 2001 [nachfolgend: Botschaft ATSG 2001], BBl 2002 803 ff., 828; IVO SCHWEGLER, in: Basler Kommentar, Allgemeiner Teil des Sozialversicherungsrechts, 2020, N. 20 ff. zu <ref-law>).
2.3. Im Arbeitslosenversicherungsrecht räumt <ref-law> dem Bundesrat die Kompetenz ein, die örtliche Zuständigkeit des kantonalen Versicherungsgerichts in Abweichung von Art. 58 Abs. 1 und 2 ATSG zu regeln (vgl. SVR 2011 ALV Nr. 9 S. 23, 8C_162/2010 E. 6.1). Von dieser Kompetenz hat der Bundesrat insofern Gebrauch gemacht, als er in <ref-law> die örtliche Zuständigkeit des kantonalen Versicherungsgerichts ordnete und in Abs. 2 derselben Bestimmung festlegte, dass für die Beurteilung von Beschwerden gegen Verfügungen einer kantonalen Amtsstelle das Versicherungsgericht desselben Kantons zuständig ist (vgl. Botschaft ATSG 2001, BBl 2002 828 f.). Die örtliche Zuständigkeit der kantonalen Amtsstelle für die Beurteilung eines Gesuchs um Erlass einer Rückforderung ergibt sich wiederum aus <ref-law>, wonach massgebend ist, wo der Versicherte bei Eröffnung der Rückforderungsverfügung seinen Wohnort hatte (siehe zum Ganzen: SCHWEGLER, a.a.O., N. 33 zu <ref-law>; BORIS RUBIN, Assurance-chômage et service public de l'emploi, 2019, S. 216 Rz. 1063; HANS-JAKOB MOSIMANN, Verfahrensrecht in der Sozialversicherung: Ausgewählte Besonderheiten, in: Häner/Waldmann [Hrsg.], Brennpunkte im Verwaltungsprozess, 2013, S. 142).
2.4. Unbestritten fest steht, dass der Beschwerdeführer bei Eröffnung der Rückforderungsverfügung vom 24. April 2019 im Kanton Aargau wohnhaft war. Damit war das AWA als kantonale Amtsstelle für die Beurteilung des vom Beschwerdeführer gestellten Erlassgesuchs zuständig (vgl. <ref-law> i.V.m. Art. 85 Abs. 1 lit. e und <ref-law>). Der vom AWA gefällte Einspracheentscheid betreffend ein Erlassgesuch ist folglich beim Versicherungsgericht des Kantons Aargau anfechtbar (vgl. <ref-law> i.V.m. <ref-law>).
2.5. Demnach verletzt der Nichteintretensentscheid des Versicherungsgerichts des Kantons Aargau vom 25. Mai 2021 Bundesrecht (<ref-law>). Er ist folglich aufzuheben und die Sache zur materiellen Beurteilung der vorinstanzlichen Beschwerde an dieses Gericht zurückzuweisen.
3.
Infolge des negativen Kompetenzkonflikts war der Beschwerdeführer gezwungen, beide Nichteintretensentscheide der kantonalen Versicherungsgerichte vor dem Bundesgericht anzufechten. Dabei obsiegt er, weshalb der Kanton Aargau den Beschwerdeführer für das Verfahren vor Bundesgericht zu entschädigen hat (Art. 68 Abs. 4 i.V.m. <ref-law>; SVR 2019 UV Nr. 32 S. 119, 8C_750/2018 E. 6, nicht publ. in: <ref-ruling>; SVR 2018 EL Nr. 1 S. 1, 9C_18/2017 E. 6, nicht publ. in: <ref-ruling>; je mit Hinweisen). Gerichtskosten werden keine erhoben (<ref-law>). Damit wird das Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Nichteintretensentscheid des Versicherungsgerichts des Kantons Aargau vom 25. Mai 2021 wird aufgehoben und die Sache an dieses zurückgewiesen, damit es materiell über die Beschwerde gegen den Einspracheentscheid des AWA vom 23. März 2021 entscheide.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Aargau hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 1500.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, dem Versicherungsgericht des Kantons Solothurn und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 26. Januar 2022
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Wirthlin
Der Gerichtsschreiber: Cupa