Sachverhalt:
A.
Der 1970 geborene A._ ist seit 1. Januar 2007 bei der Stadt U._ als Polizist angestellt und in dieser Eigenschaft bei der AXA Versicherungen AG (nachfolgend: AXA) gegen die Folgen von Unfällen und Berufskrankheiten versichert. Gemäss Unfallmeldung vom 26. August 2019 streifte er am 23. August 2019 bei einer Drehung aus dem Stand mit dem rechten Armgelenk die Ecke einer Hausmauer. Anlässlich der gleichentags erfolgten notfallmässigen Untersuchung im Spital B._, die eine beginnende Bursitis olecrani rechts ergab, berichtete A._, er sei auf den Ellenbogen gestürzt. Der Hausarzt Dr. C._, Allgemeinmedizin FMH, stellte am 26. August 2019 einen Status nach Hämatobursa Ellenbogen rechts nach Kontusion vom 23. August 2019 fest, wobei das Bursahämatom regredient sei. Da in der Folge keine Besserung eintrat, führte er am 2. September 2019 eine Punktion am Ellenbogen durch. Die AXA erbrachte Versicherungsleistungen. A._ unterzog sich am 3. März 2020 einer Bursektomie am Ellenbogen rechts. Nachdem PD Dr. med. D._, Leiter Schulterchirurgie, Klinik E._, bei festgestelltem posttraumatischem Sulcus-ulnaris-Syndrom rechts am 20. August 2020 eine weitere Operationsindikation gestellt hatte, teilte die AXA am 28. September 2020 mit, sie werde ihre Leistungen per 31. Oktober 2019 einstellen; da der Leistungsentscheid auf einer rückwirkend durchgeführten Beurteilung beruhe, verzichte sie aber kulanterweise auf die Rückforderung der bereits erbrachten Leistungen in der Höhe von Fr. 10'594.20. Dies bestätigte sie mit Verfügung vom 1. Oktober 2020. Dabei stützte sie sich auf die Beurteilung ihres beratenden Arztes Dr. med. F._, Facharzt FMH für Chirurgie, vom 16. September 2020, wonach der Status quo sine per 31. Oktober 2019 erreicht worden sei, weil die letzte Konsultation beim Hausarzt vom 2. September 2019 datiere und die nächste bei vermehrten Beschwerden erst am 25. November 2019 stattgefunden habe. Am 5. Oktober 2020 führte Dr. med. D._ die geplante Dekompression und subkutane Verlagerung des Nervus ulnaris rechts durch. Die AXA hielt auf Einsprache hin an der am 1. Oktober 2020 verfügten Leistungseinstellung fest (Einspracheentscheid vom 5. Februar 2021).
B.
Das Versicherungsgericht des Kantons Aargau wies die dagegen erhobene Beschwerde ab (Urteil vom 22. Juli 2021).
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, die AXA sei zu verpflichten, ihre gesetzlichen und vertraglichen Leistungen auch nach dem 31. Oktober 2019 zu erbringen; eventualiter sei die Sache zur ordnungsgemässen Abklärung des rechtserheblichen Sachverhalts an die Vorinstanz bzw. an die AXA zurückzuweisen.
Die AXA schliesst auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Gesundheit verzichten auf eine Stellungnahme.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (zum Ganzen: <ref-ruling> E. 4.2 mit Hinweis).
1.2. Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung ist das Bundesgericht nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG). Betrifft der angefochtene Entscheid, wie hier, sowohl eine Geldleistung (Taggeld) als auch eine Sachleistung (Heilungskosten), prüft das Bundesgericht den Sachverhalt frei, soweit er für beide Rechtsverhältnisse erheblich ist, und stützt sich für die rechtlichen Schlüsse auf die eigenen Feststellungen. Die eingeschränkte Kognition gilt in solchen Fällen nur, soweit Tatsachen ausschliesslich die Sachleistung betreffen (vgl. <ref-ruling> E. 1.2.2; SVR 2020 UV Nr. 13 S. 47, 8C_296/2019 E. 1.2 mit Hinweisen).
2.
Streitig ist, ob die vorinstanzlich bestätigte Einstellung der Leistungen durch die AXA rückwirkend per 31. Oktober 2019 (ohne Rückforderung von bereits erbrachten Leistungen) im Zusammenhang mit der gesundheitlichen Beeinträchtigung am rechten Ellenbogen bundesrechtskonform ist.
3.
3.1. Das kantonale Gericht legte die rechtlichen Grundlagen betreffend den für die Leistungspflicht des obligatorischen Unfallversicherers (<ref-law>) vorausgesetzten natürlichen Kausalzusammenhang zwischen Unfall und Gesundheitsschaden (<ref-ruling> E. 1; <ref-ruling> E. 2.1; <ref-ruling> E. 3.1 f.) zutreffend dar. Gleiches gilt bezüglich der Ausführungen zum Dahinfallen der Leistungspflicht bei Erreichen des Zustands, wie er vor dem Unfall bestand oder sich auch ohne diesen ergeben hätte (Status quo sine vel ante; <ref-ruling> E. 5.1), und des Beweiswertes von ärztlichen Berichten im Allgemeinen (<ref-ruling> E. 5.1; <ref-ruling> E. 3a) sowie von Berichten versicherungsinterner Ärzte (<ref-ruling> E. 8.5; <ref-ruling> E. 5.1; <ref-ruling> E. 5.2; <ref-ruling> E. 4.4) und behandelnder Ärzte (BGE <ref-ruling> E. 4.5) im Besonderen. Darauf wird verwiesen.
3.2. Hervorzuheben ist, dass der Versicherungsträger die vorübergehenden Leistungen ohne Berufung auf einen Wiedererwägungs- oder Revisionsgrund "ex nunc et pro futuro" einstellen kann, etwa mit dem Argument, bei richtiger Betrachtung liege kein versichertes Ereignis vor (<ref-ruling> E. 2.3.1), oder der Kausalzusammenhang zwischen dem Unfall und dem leistungsbegründenden Gesundheitsschaden sei dahingefallen. Eine solche Einstellung kann auch rückwirkend erfolgen, sofern der Unfallversicherer keine Leistungen zurückfordern will (Urteile 8C_22/2019 vom 24. September 2019 E. 3, nicht publ. in <ref-ruling>, und 8C_487/2017 vom 9. November 2017 E. 3.3.1 mit Verweis auf <ref-ruling> E. 6.8).
3.3. Ergänzend ist anzuführen, dass nach der Rechtsprechung zu den im Sinn von <ref-law> massgebenden Ursachen auch Umstände gehören, ohne deren Vorhandensein die gesundheitliche Beeinträchtigung nicht zur gleichen Zeit eingetreten wäre. Eine schadensauslösende traumatische Einwirkung wirkt also selbst dann leistungsbegründend, wenn der betreffende Schaden auch ohne das versicherte Ereignis früher oder später wohl eingetreten wäre, der Unfall somit nur hinsichtlich des Zeitpunkts des Schadenseintritts Conditio sine qua non war. Anders verhält es sich, wenn der Unfall nur Gelegenheits- oder Zufallsursache ist, welche ein gegenwärtiges Risiko, mit dessen Realisierung jederzeit zu rechnen gewesen wäre, manifest werden lässt, ohne im Rahmen des Verhältnisses von Ursache und Wirkung eigenständige Bedeutung anzunehmen. Einem Ereignis kommt demzufolge der Charakter einer anspruchsbegründenden Teilursache zu, wenn das aus der potentiellen pathogenen Gesamtursache resultierende Risiko zuvor nicht dermassen gegenwärtig war, dass der auslösende Faktor gleichsam beliebig und austauschbar erschiene. Dagegen entspricht die unfallbedingte Einwirkung - bei erstelltem Auslösezusammenhang - einer (anspruchshindernden) Gelegenheits- oder Zufallsursache, wenn sie auf einen derart labilen, prekären Vorzustand trifft, dass jederzeit mit einem Eintritt der (organischen) Schädigung zu rechnen gewesen wäre, sei es aus eigener Dynamik der pathogenen Schadensanlage oder wegen Ansprechens auf einen beliebigen anderen Zufallsanlass. Wenn ein alltäglicher alternativer Belastungsfaktor zu annähernd gleicher Zeit dieselbe Gesundheitsschädigung hätte bewirken können, erscheint der Unfall nicht als kausal signifikantes Ereignis, sondern als austauschbarer Anlass; es entsteht daher keine Leistungspflicht des obligatorischen Unfallversicherers (Urteile 8C_549/2021 vom 7. Januar 2022 E. 4.2; 8C_287/2020 vom 27. April 2021 E. 3.1, je mit Hinweisen; ANDREAS TRAUB, Natürlicher Kausalzusammenhang zwischen Unfall und Gesundheitsschädigung bei konkurrierender pathogener Einwirkung: Abgrenzung der wesentlichen Teilursache von einer anspruchshindernden Gelegenheits- oder Zufallsursache, in: SZS 2009 S. 479).
4.
4.1. Die AXA reichte im vorinstanzlichen Beschwerdeverfahren eine Aktenbeurteilung ihres beratenden Arztes, Dr. med. G._, Facharzt Orthopädische Chirurgie und Traumatologie FMH, vom 21. April 2021 ein. Dr. med. G._ vertritt darin die Auffassung, die anlässlich der Notfallkonsultation vom 23. August 2019 diagnostizierte beginnende Bursitis olecrani sei mit überwiegender Wahrscheinlichkeit auf eine unfallfremde Vorschädigung bzw. einen pathologischen Vorzustand zurückzuführen. Alle Indizien würden für eine traumatische Aktivierung einer vorbestehenden chronischen Bursitis olecrani sprechen, die durchaus schon "seit Jahren oder Jahrzehnten vorbestanden" habe und "zumeist klinisch stumm" gewesen sei. Die Symptomatik der langsam progredienten Flüssigkeitsansammlung bis zur Punktion elf Tage später (am 2. September 2019) habe sich nach der Cortisoninjektion innert weniger Wochen beruhigt, so dass von einer vorübergehenden Verschlimmerung einer Vorerkrankung ausgegangen werden könne. Die Einschätzung des Dr. med. F._ vom 16. September 2020 hinsichtlich des Zeitpunkts der Leistungseinstellung (31. Oktober 2019) sei nachvollziehbar und logisch. Der Beschwerdeführer habe sich allerdings nicht wie vereinbart vier Tage nach der Injektion zur Nachkontrolle eingefunden, was für einen guten Verlauf spreche. Deshalb sei der Status quo sine "prinzipiell" bereits am Tag der geplanten Kontrolle, am 6. September 2019, erreicht gewesen.
Die Vorinstanz erkannte dem Aktenbericht des Dr. med. G._ vollen Beweiswert zu. Die Stellungnahme werfe keine auch nur geringen Zweifel auf, so dass darauf abzustellen und in antizipierender Beweiswürdigung von weiteren Abklärungen abzusehen sei. Da sich der genaue Zeitpunkt des Status quo sine nicht auf den Tag genau feststellen lasse, sei die Leistungseinstellung per 31. Oktober 2019 nicht zu beanstanden.
4.2. Der Beschwerdeführer lässt einwenden, das kantonale Gericht habe sich mit den Argumenten des Orthopäden pract. med. H._, Oberarzt, Bereich Operative Medizin, Spital B._, der auch die Eingriffe vorgenommen habe, nicht auseinandergesetzt, sondern einzig die Einschätzung des Versicherungsarztes Dr. med. G._ wiederholt. Dabei sei Letzterer nachweislich von einem unzutreffenden Sachverhalt ausgegangen und habe falsche Schlüsse daraus gezogen. Die Beurteilung des pract. med. H._ vermöge zumindest geringe Zweifel an der versicherungsinternen Stellungnahme zu begründen. Deshalb hätte die Vorinstanz den rechtserheblichen Sachverhalt selber abklären oder die Angelegenheit zur ordnungsgemässen Abklärung an die AXA zurückweisen müssen. Beides sei nicht geschehen, was eine Verletzung des Untersuchungsgrundsatzes und der bundesgerichtlichen Rechtsprechung darstelle.
4.3. In ihrer letztinstanzlich eingereichten Vernehmlassung vertritt die AXA in weitgehender Wiederholung der Argumentation des kantonalen Gerichts die Auffassung, es sei im Resultat nicht ersichtlich, inwiefern das vorinstanzliche Urteil auf einer unrichtigen Feststellung des Sachverhalts beruhen oder gar willkürlich sein sollte.
5.
5.1. Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; zur Geltung dieses Grundsatzes im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung: <ref-ruling> E. 3.4; SVR 2014 UV Nr. 25 S. 81, 8C_51/2014 E. 2.2), was in der Beschwerde näher darzulegen ist (<ref-ruling> E. 3). Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können. Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig (<ref-ruling> E. 1.2; <ref-ruling> E. 3.2.2.2; <ref-ruling> E. 3.1.2).
5.2. Der Beschwerdeführer legt erstmals vor Bundesgericht die nach Erlass des angefochtenen Urteils datierende Bestätigung der Praxispartnerin des Hausarztes, Dr. med. I._, vom 9. August 2021 auf, wonach der Termin vom 6. September 2019 in der Hausarztpraxis wahrgenommen worden sei. Da dieses Dokument nach dem angefochtenen Urteil datiert, stellt es ein unbeachtliches Novum dar, so dass sich Weiterungen dazu erübrigen.
6.
Vorweg ist zu bemerken, dass sich die Vorinstanz bezüglich des Unfallhergangs nicht festlegte (Sturz auf den Ellenbogen gemäss Bericht über die Notfallbehandlung vom 23. August 2019, Streifung der Wand nach der Unfallmeldung vom 26. August 2019 oder Anprall an der Hauswand, notiert vom Hausarzt am 26. August 2019). Weiterungen dazu erübrigen sich im aktuellen Verfahren vor dem Bundesgericht. Der Sachverhalt wird unter Mitwirkung des Beschwerdeführers und allfälliger Augenzeugen zu einem späteren Zeitpunkt zu klären sein (E. 8 hiernach).
7.
7.1. Die in die Behandlung involvierten Fachpersonen gehen davon aus, die Bursitis sei allein infolge des Unfalls vom 23. August 2019 aufgetreten und die Unfallkausalität sei auch nach der Bursektomie vom 3. März 2020 nicht weggefallen, weil das Sulcus-ulnaris-Syndrom ein ebenfalls auf das Ereignis zurückzuführender Folgeschaden sei. Demgegenüber nehmen die beratenden Ärzte der AXA, Dr. med. F._ und Dr. med. G._, in ihren Aktenbeurteilungen an, nach einer vorübergehenden Aktivierung eines krankhaften Vorzustandes sei schon per 31. Oktober 2019 respektive sogar schon per 6. September 2019 eine rasche Besserung mit Erreichen des Status quo sine eingetreten.
7.1.1. Wenn das kantonale Gericht bei diesen gegensätzlichen Einschätzungen geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der Aktenbeurteilung des Dr. med. G._ ausschloss, kann ihm nicht gefolgt werden. Der Bericht des Dr. med. G._ erging zwar in Kenntnis der medizinischen Vorakten. Zudem ist unbestritten, dass auch eine reine Aktenbeurteilung grundsätzlich beweiskräftig sein kann. Vorliegend fällt aber unter anderem ins Gewicht, dass Dr. med. G._ aus dem Notfallbericht ableitet, am Tag des Ereignisses seien keine klinisch fassbaren Unfallfolgen wie Druckschmerzen oder Hämatome erkennbar gewesen, während pract. med. H._ die medizinische Ausgangslage mit Blick auf die am Unfalltag festgestellte Schwellung und Rötung gänzlich anders interpretiert. An der Annahme des beratenden Arztes, es sei von einem krankhaften Vorzustand in Form einer vorbestehenden Bursitis auszugehen, sind deshalb Zweifel angebracht. Selbst wenn im Übrigen mit Dr. med. G._ von einem Vorzustand auszugehen wäre, würde dies an der grundsätzlichen Leistungspflicht der Unfallversicherung nichts ändern, da dafür bereits eine Teilursächlichkeit genügt und zu den Ursachen im Sinne von <ref-law> auch Umstände gehören, ohne deren Vorhandensein die gesundheitliche Beeinträchtigung nicht zur gleichen Zeit eingetreten wäre (vgl. E. 3.3 hiervor).
7.1.2. Die Beschwerdegegnerin, bestätigt durch das kantonalgerichtliche Urteil, geht davon aus, dass sie nur Leistungen für das unmittelbar im Zusammenhang mit dem Unfall stehende Schmerzsyndrom gemäss <ref-law> zu erbringen habe. Die gestützt auf die Einschätzung des beratenden Arztes Dr. med. F._ (später bestätigt durch Dr. med. G._) auf Ende Oktober 2019 vorgenommene Terminierung der Leistungspflicht lässt allerdings ausser Acht, dass der Beschwerdeführer seit dem Unfall vom 23. August 2019 durchgehend bis zur Bursektomie vom 3. März 2020 Ellenbogenbeschwerden angegeben hatte. Somit kann nicht schon deshalb per 6. September oder 31. Oktober 2019 vom Erreichen des Status quo sine ausgegangen werden, weil sich der Beschwerdeführer nach der Punktion vom 2. September 2019 erst wieder am 25. November 2019 zur Konsultation bei Dr. med. C._ begeben hatte. Soweit Dr. med. G._ den Zeitpunkt des Status quo sine auf den 6. September 2019 festlegte, hätte die Vorinstanz zumindest geringe Zweifel haben müssen.
7.2. Zur Ursache des Sulcus-ulnaris-Syndroms bestehen ebenso divergierende Auffassungen der beratenden Ärzte und der behandelnden Fachpersonen. Dr. med. G._ und Dr. med. F._ gehen davon aus, ein iatrogener operativer Ursprung sei "eher wahrscheinlich" bzw. ein Zusammenhang mit dem Anschlagen des Ellenbogens müsse verneint werden. Dr. med. D._, der die Dekompression und Verlagerung des Nervus ulnaris am 5. Oktober 2020 vorgenommen hatte, wie auch pract. med. H._ führen die Schädigung hingegen auf Vernarbungen im Nachgang zum Unfall bzw. zur Bursektomie vom 3. März 2020 zurück. Unter allen Ärzten dürfte zwar Einigkeit bestehen, dass das Nervus-ulnaris-Syndrom nicht direkt durch Anschlagen des Ellenbogens an der Hausmauer entstanden ist. Damit ist jedoch entgegen der Darlegung des Dr. med. F._ noch nicht geklärt, ob die Schädigung im Zusammenhang mit der durch den Unfall entstandenen oder zumindest aktivierten Bursitis bzw. den deshalb zur gegebenen Zeit notwendig gewordenen Interventionen steht. Indem die Vorinstanz geringe Zweifel an der Beurteilung des Dr. med. G._ (der seinerseits die Einschätzung des Dr. med. F._ bestätigt) verneinte, setzte sie somit bundesrechtswidrig zu hohe Anforderungen an die Bejahung des geringen Zweifels.
7.3. Die AXA hat zwar auf eine Rückforderung der vor dem 1. Oktober 2020 erbrachten Leistungen (so also unter anderem auch bezüglich der Kosten der Bursektomie vom 3. März 2020) verzichtet. Namentlich im Zusammenhang mit der operativen Dekompression und subkutanen Verlagerung des Nervus ulnaris am Ellenbogen rechts vom 5. Oktober 2020 wird jedoch eine Leistungspflicht verneint. Die Klärung der offenen Sachverhaltsfragen hat also auf jeden Fall praktische Relevanz, womit eine versicherungsexterne Begutachtung unumgänglich ist.
8.
Nach dem Gesagten verletzte die Vorinstanz Bundesrecht, indem sie gestützt auf die vorliegende medizinische Aktenlage Zweifel an den Positionen der beratenden Ärzte ausschloss. Das angefochtene Urteil ist demzufolge aufzuheben und die Angelegenheit an das kantonale Gericht zurückzuweisen, damit es zunächst den Unfallhergang kläre (vgl. E. 6 hiervor), in der Folge ein orthopädisches Gutachten (allenfalls unter Beizug eines Neurologen oder einer Neurologin) einhole und anschliessend über die Beschwerde neu entscheide.
9.
Die Rückweisung der Sache an das kantonale Gericht zu weiterer Abklärung (mit noch offenem Ausgang) gilt für die Frage der Auferlegung der Gerichtskosten wie auch der Parteientschädigung als vollständiges Obsiegen im Sinne von Art. 66 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG, unabhängig davon, ob sie beantragt oder ob das Begehren im Haupt- oder Eventualantrag gestellt wird (<ref-ruling> E. 7.1; Urteil 8C_177/2020 vom 22. Dezember 2020 E. 7). Die unterliegende Beschwerdegegnerin hat die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und das Urteil des Versicherungsgerichts des Kantons Aargau vom 22. Juli 2021 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, 2. Kammer, und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 30. März 2022
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Wirthlin
Die Gerichtsschreiberin: Berger Götz