Sachverhalt:
A.
A.a. Die 1962 geborene A._ war seit 28. Juni 1981 als Küchenhilfe im Krankenheim B._ angestellt und dadurch bei der Nationale Suisse (nachfolgend: Nationale) obligatorisch gegen die Folgen von Unfällen versichert, als sie sich am 23. Juni 2003 beim Öffnen einer Büchse eine Schnittwunde am Mittelfinger der linken Hand zuzog. Wegen einer eitrigen Paronychie Dig. II links wurde die Versicherte am 27. Juni 2003 im Spital C._ operiert. Die Nationale erbrachte die gesetzlichen Leistungen, wobei die Behandlung am 23. Juli 2003 abgeschlossen wurde. Am 15. Juni 2010 erstattete die Pflegezentrum D._ AG der Nationale eine Krankmeldung, wonach A._ seit 22. Mai 2010 arbeitsunfähig sei. Am 22. Mai 2010 wurde die Versicherte im Spital C._ notfallmässig an der linken Hand operiert. Die Diagnose lautete "Beugesehnenscheidenphlegmone Dig. III links fünf Tage nach Auftreten eines Panaritiums". Am 4. Juni 2010 folgte eine weitere Operation an den Fingern III und IV. Die Nationale richtete ab 21. Juni 2010 Krankentaggelder aus. Wegen persistierender Handschmerzen links und Sensibilitätsstörungen im Bereich von Dig. III und IV links fand am 9. Mai 2011 ein weiterer operativer Eingriff statt.
A.b. Am 11. Januar 2013 machte A._ gegenüber ihrer früheren Arbeitgeberin, der Pflegezentrum D._ AG, geltend, sie habe im Mai 2010 einen Betriebsunfall erlitten, indem sie sich am Finger geschnitten habe. Die Angelegenheit sei fälschlicherweise über die Krankentageldversicherung abgewickelt worden. Gestützt darauf liess die Pflegezentrum D._ AG der Nationale am 16. Januar 2013 eine Unfallmeldung zukommen. Diese teilte der Versicherten am 23. April 2015 in einem formlosen Schreiben mit, sie werde für den Unfall vom 17. Mai 2010 die gesetzlichen Versicherungsleistungen erbringen. Am 23. Juni 2015 wies sie die Versicherte darauf hin, dass der Integritätsschaden provisorisch auf 5 % festgesetzt werde und ihr gestützt darauf Akonto einer später festzusetzenden Integritätsentschädigung Fr. 6300.- ausbezahlt werde.
A.c. Die Helvetia Schweizerische Versicherungsgesellschaft AG (nachfolgend: Helvetia), Nachfolgerin der Nationale, informierte A._ mit Schreiben vom 3. September 2015, aufgrund nochmaliger Prüfung könne ihr Fall entgegen dem Schreiben vom 23. April 2015 nicht übernommen werden. Die provisorisch erbrachte Leistung (Integritätsentschädigung) würde zurückgefordert. Nachdem sich A._ gegen eine Begutachtung gewandt hatte, holte die Versicherung bei Dr. med. E._, Spezialarzt Chirurgie und Orthopädie FMH, Handchirurgie, ein Aktengutachten ein, welches am 27. Juni 2016 erstattet wurde. Mit Verfügung vom 28. Juli 2016 hob die Helvetia die formlos erfolgte Leistungszusprache vom 23. April 2015 mangels Vorliegens eines Unfalls oder einer unfallähnlichen Körperschädigung wiedererwägungsweise auf und verpflichtete die Versicherte, die ausgerichtete Integritätsentschädigung von Fr. 6300.- zurückzuerstatten. Die dagegen erhobene Einsprache wurde mit Einspracheentscheid vom 25. Juni 2018 insofern teilweise gutgeheissen, als auf die Rückforderung der Integritätsentschädigung verzichtet wurde. Im Übrigen wurde die Einsprache abgewiesen.
B.
Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 6. März 2020 in dem Sinne gut, als es den Einspracheentscheid der Helvetia vom 25. Juni 2018 aufhob, soweit darin die Verfügung vom 28. Juli 2016 und damit die wiedererwägungsweise Aufhebung der Erklärung vom 23. April 2015 bestätigt wurde. Es wies die Sache an die Versicherung zurück, damit diese über Art und Umfang von Versicherungsleistungen neu verfüge.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die Helvetia, der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 6. März 2020 sei aufzuheben und der Einspracheentscheid vom 25. Juni 2018 zu bestätigen. Eventualiter sei die Sache zu weiteren Abklärungen an die Vorinstanz zurückzuweisen.
Während A._ auf Abweisung der Beschwerde schliessen lässt, soweit darauf einzutreten sei, verzichtet das Bundesamt für Gesundheit auf eine Vernehmlassung. Die Parteien halten in ihren weiteren Stellungnahmen an den gestellten Anträgen fest.

Erwägungen:
1.
1.1. Das Bundesgericht prüft die Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (Art. 29 Abs. 1 BGG; <ref-ruling> E. 1.1 S. 154 mit Hinweis).
1.2. Beim angefochtenen Rückweisungsentscheid handelt es sich, da das Verfahren noch nicht abgeschlossen wird und die Rückweisung auch nicht einzig der Umsetzung des oberinstanzlich Angeordneten dient, um einen selbstständig eröffneten Vor- oder Zwischenentscheid im Sinne von Art. 93 BGG. Die Zulässigkeit der Beschwerde setzt somit alternativ voraus, dass der Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Abs. 1 lit. a) oder dass die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Abs. 1 lit. b).
Indem die Vorinstanz die Voraussetzungen für eine Wiedererwägung verneinte und die Beschwerdeführerin verpflichtete zu prüfen, welche Leistungen der Beschwerdegegnerin zustehen, machte sie materiell verbindliche Feststellungen, welche den Beurteilungsspielraum der Beschwerdeführerin wesentlich einschränken und diese bei Vorliegen der übrigen Erfordernisse verpflichten, der Beschwerdegegnerin Leistungen zuzusprechen. Da der darauf beruhende Endentscheid praktisch nicht angefochten und das Ergebnis nicht mehr korrigiert werden könnte, liegt ein nicht wiedergutzumachender Nachteil nach Art. 93 Abs. 1 lit. a BGG vor (8C_545/2019 vom 14. November 2019 E. 1.2; 8C_321/2019 vom 24. September 2019 E. 1). Auf die Beschwerde ist daher einzutreten.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
Soweit die Beschwerdeführerin auf ihre Ausführungen im Einspracheentscheid sowie auf ihre Beschwerdeantwort und ihre Duplik im vorinstanzlichen Verfahren verweist, welche sie zum integrierten Bestandteil der Beschwerdebegründung erklärt, ist darauf nicht einzugehen, da ein blosser Verweis auf frühere Rechtsschriften den Anforderungen von Art. 42 Abs. 2 BGG nicht genügt (<ref-ruling> E. 5.1 S. 144 mit Hinweis).
2.2. Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung ist das Bundesgericht nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG).
3.
Streitig und zu prüfen ist, ob die Vorinstanz zu Recht den Einspracheentscheid der Beschwerdeführerin, mit welchem diese den Anspruch auf Versicherungsleistungen der Versicherten wiedererwägungsweise verneinte, aufgehoben hat.
3.1. Das kantonale Gericht hat die Bestimmungen und Grundsätze zum Unfallbegriff und zur Wiedererwägung (Art. 53 Abs. 2 ATSG) zutreffend dargelegt. Darauf wird verwiesen. Zu ergänzen ist, dass der Versicherungsträger die vorübergehenden Leistungen ohne Berufung auf einen Wiedererwägungs- oder Revisionsgrund "ex nunc et pro futuro" einstellen kann, etwa mit dem Argument, bei richtiger Betrachtung liege kein versichertes Ereignis vor (<ref-ruling> E. 2.3.1 S. 384), oder der Kausalzusammenhang zwischen Unfall und dem leistungsbegründenden Gesundheitsschaden sei dahingefallen. Eine solche Einstellung kann auch rückwirkend erfolgen, sofern der Unfallversicherer keine Leistungen zurückfordern will (Urteil 8C_22/2019 vom 24. September 2019 E. 3, nicht publ. in <ref-ruling>; 8C_487/2017 vom 9. November 2017 E. 3.3.1 mit Verweis auf <ref-ruling> E. 6.8 S. 65).
4.
4.1. Die Vorinstanz erwog, es falle auf, dass keines der in zeitlicher Nähe zum 17. Mai 2010 erstellten Dokumente einen Hinweis auf die von der Beschwerdegegnerin später geltend gemachte Schnittverletzung oder auf irgendein anderes konkretes Ereignis enthalte. Die Beschwerdeführerin habe im November 2014 die Stellungnahme des Dr. med. F._ eingeholt, der sinngemäss einen Kausalzusammenhang zwischen einem Unfallereignis und dem im Mai 2010 festgestellten Panaritium bejaht habe. Er habe dies damit begründet, dass ein Panaritium eine Hautverletzung voraussetze. Wie die Beschwerdeführerin grundsätzlich zu Recht festhalte, habe Dr. med. F._ von einer Hautverletzung und nicht von einer Schnittverletzung gesprochen. Die vom Arzt gewählte Formulierung habe den Eindruck erwecken können, er schliesse aus der Art der Verletzung (Panaritium) auf die Verursachung durch ein Unfallereignis. Dieser Schluss sei zwar nur in seltenen Fällen direkt möglich. Es lasse sich aber nicht als unvertretbar und damit zweifellos unrichtig bezeichnen, wenn die Beschwerdeführerin bzw. ihre Rechtsvorgängerin aufgrund der Stellungnahme des Dr. med. F._ davon ausgegangen sei, aus medizinischer Sicht liege mit überwiegender Wahrscheinlichkeit eine unfallkausale Verletzung vor. Die am 23. April 2015 schriftlich erklärte Anerkennung der Leistungspflicht lasse sich daher nicht als zweifellos unrichtig im Sinne von Art. 53 Abs. 2 ATSG bezeichnen.
4.2. Die Beschwerdeführerin macht geltend, ob ein versichertes Ereignis nachgewiesen sei und ob die Voraussetzungen eines Unfalls im Sinne von Art. 4 ATSG erfüllt seien, stelle eine Rechtsfrage dar. Die Prüfung dieser Rechtsfrage sei von der rechtsanwendenden Behörde vorzunehmen und könne nicht basierend auf einer medizinischen Beurteilung eines Kausalzusammenhangs durch den behandelnden Arzt erfolgen. In keinem echtzeitlichen Dokument finde sich ein Hinweis auf eine Schnittverletzung oder ein anderes im Mai 2010 stattgefundenes Ereignis. Gegenüber Dr. med. G._, Facharzt für Neurologie FMH, habe die Versicherte gemäss Bericht vom 3. Mai 2011 (10/D/1/M15) angegeben, im Mai 2010 wieder an gleicher Stelle am Mittelfinger eine Infektion bekommen zu haben. Dr. med. F._ habe in seiner Kurzbeurteilung lediglich bestätigt, dass ein Panaritium eine Hautverletzung voraussetze. Eine solche Hautverletzung, insbesondere an den Fingern, sei bei einer im Küchendienst tätigen Versicherten auch ganz einfach zufolge intensiver Beanspruchung beim Rüsten, Putzen oder durch lange Tätigkeiten im Wasser denkbar. Schliesslich könnten sich Hautverletzungen auch bei spröder, rissiger Haut ohne Einwirkung durch einen Gegenstand wie ein Messer oder eine Büchse ergeben. Vorliegend seien die Voraussetzungen eines Unfalls im Sinne von Art. 4 ATSG nicht mit überwiegender Wahrscheinlichkeit erstellt, weshalb die ursprüngliche Leistungszusage offensichtlich unrichtig gewesen sei. Im Rahmen der Wiedererwägung sei eine Leistungspflicht aus UVG zu Recht verneint worden.
5.
5.1. Die Beschwerdeführerin teilte der Versicherten mit Schreiben vom 3. September 2015 unter gleichzeitiger Gewährung des rechtlichen Gehörs mit, dass aufgrund nochmaliger Prüfung der Fall entgegen dem Schreiben vom 23. April 2015 nicht übernommen werden könne. Die provisorisch erbrachten Leistungen (IE-Entschädigung) würden zurückgefordert. Die Beschwerdeführerin hob mit Verfügung vom 28. Juli 2016 die formlos erfolgte Leistungszusprache vom 23. April 2015 wiedererwägungsweise auf und forderte die unrechtmässig bezogene Integritätsentschädigung im Betrag von Fr. 6300.- zurück. Im Einspracheentscheid vom 25. Juni 2018 wurde in teilweiser Gutheissung der Einsprache von der Rückforderung der entrichteten Integritätsentschädigung in der Höhe von Fr. 6300.- zufolge Verwirkung abgesehen. Somit forderte die Beschwerdeführerin keine Leistungen zurück. Aus den Akten ergibt sich denn auch nicht, dass nebst der Integritätsentschädigung von Fr. 6300.- weitere Leistungen ausgerichtet wurden. Im Gegenteil geht aus einer E-Mail der Beschwerdeführerin an die Helvetia Sammelstiftung vom 6. Januar 2016 hervor, dass die Beschwerdeführerin nebst der Akontozahlung an die Integritätsentschädigung keine weiteren Leistungen entrichtet hat. Es stellt sich daher die Frage, ob die Beschwerdeführerin im Rahmen des Einspracheverfahrens nicht auch ohne Berufung auf einen Wiedererwägungs- oder Revisionsgrund auf die formlos erfolgte Leistungszusprache vom 23. April 2015 hätte zurückkommen können, nachdem sie neu entgegen ihrer Verfügung auf die Rückerstattung der Integritätsentschädigung verzichtete (vgl. oben E. 3.1). Die Frage kann indessen offengelassen werden, da, wie sich aus den folgenden Ausführungen ergibt, entgegen den vorinstanzlichen Ausführungen ein Wiedererwägungsgrund gegeben ist.
5.2. Wie die Beschwerdeführerin zu Recht vorbringt, handelt es sich bei der Frage, ob ein Unfall im Sinne von Art. 4 ATSG vorliegt, um eine Rechtsfrage, die nicht vom Mediziner, sondern vom Rechtsanwender, mithin der Versicherung und im Beschwerdefall durch das Gericht, zu beurteilen ist. Im Weiteren wird in der Beschwerde zutreffend ausgeführt, dass sich der mangelhafte Nachweis eines die Merkmale des Unfalls erfüllenden Ereignisses nur selten durch medizinische Feststellungen ersetzen lässt. Es kommt ihnen im Rahmen der Beweiswürdigung für oder gegen das Vorliegen eines unfallmässigen Geschehens in der Regel nur die Bedeutung von Indizien zu. Auch deckt sich der Begriff des Traumas nicht mit dem Unfallbegriff im Sinne von Art. 4 ATSG (<ref-ruling> E. 4.3.2.2 S. 81; in <ref-ruling> nicht publ. E. 1 des Urteils U 199/03 vom 10. Mai 2004; RKUV 2003 Nr. U 485 S. 253, U 307/01 E. 5; RKUV 1996 Nr. U 253 S. 199 E. 4b; Urteil 8C_225/2019 vom 20. August 2019 E. 3.4; 8C_802/2012 vom 29. April 2013 E. 7).
5.3. Die Beschwerdegegnerin macht geltend, sie habe sich im Mai 2010 erneut in den Finger geschnitten, was mehrere Zeugen bestätigen könnten. Wie das kantonale Gericht indessen zutreffend festgehalten hat, enthalten die in zeitlicher Nähe zum 17. Mai 2010 erstellten Dokumente keine Hinweise auf die von der Versicherten geltend gemachte Schnittverletzung. Die ehemalige Arbeitgeberin der Beschwerdegegnerin erstattet am 15. Juni 2010 eine Kranken- und keine Unfallmeldung, wobei kein bestimmtes Ereignis genannt wurde. Im Bericht der Spital C._ AG vom 1. Juni 2010 wurde betreffend die am 22. Mai 2010 erfolgte Operation nichts von einem Schnitt in den Finger erwähnt, sondern nur eine deutliche Schwellung und Rötung des 3. Fingers beschrieben. Als Diagnose wurde eine Beugesehnenscheidenphlegmone Dig. III links fünf Tage nach Auftreten eines Panaritiums aufgeführt. Auch in den folgenden Arztberichten findet sich kein das Panaritium verursachendes Ereignis und insbesondere keine Schnittverletzung vom Mai 2010. Die ehemalige Arbeitgeberin der Versicherten meldete bezüglich des Gesundheitsschadens vom 17. Mai 2010 erst am 16. Januar 2013 einen Unfall, wobei die Unfallmeldung gestützt auf ein Schreiben des Rechtsvertreters der Beschwerdegegnerin vom 11. Januar 2013 erfolgte, in welchem erstmals von einem Schnitt in den Finger die Rede war. Demnach wurde eine Schnittverletzung zeitnah weder von der Versicherten noch in den medizinischen Berichten erwähnt.
5.4. Dr. med. F._ bejahte in seiner Kurzbeurteilung vom 24. November 2014 die ihm von der Versicherung gestellte Frage, ob das Panaritium vom Mai 2010 als Unfallfolge betrachtet werden könne. Zur Begründung führte er lediglich aus, ein Panaritium setze eine Hautverletzung voraus. Er nannte keinen ungewöhnlichen äusseren Faktor wie beispielsweise einen Schnitt mit einem Messer oder einem anderen Gegenstand, der die Hautverletzung am Finger verursacht hätte. Wie in der gutachterlichen handchirurgischen Stellungnahme des Dr. med. E._ vom 27. Juni 2016 zutreffend ausgeführt wurde, wäre dem Chirurgen anlässlich der Operation vom 22. Mai 2010 ein Schnitt in den Finger bestimmt aufgefallen und dementsprechend im Operationsbericht dokumentiert worden. Daran ändert nichts, dass der von der Versicherung eingeholten handchirurgischen Stellungnahme nur der Stellenwert einer versicherungsinternen ärztlichen Beurteilung zukommt. Wie die Beschwerdeführerin richtig bemerkt, muss eine Hautverletzung nicht zwingend durch einen Unfall im Rechtssinne verursacht worden sein. Dies gilt insbesondere bei einer im Küchendienst tätigen Versicherten. So führte auch Dr. med. E._ aus, dass eine Mikroverletzung bei Tätigkeiten in einer Küche genau wie bei allen anderen manuellen Tätigkeiten natürlich auftreten könnten. Eine Paronychie bzw. ein Panaritium könne auch durch manuelles Zurückschieben der Nagelbetthaut sowie unsachgemässe Nagelpflege auftreten, was nach Literaturangaben der häufigste Grund für Paronychien und nachfolgende Panaritien darstelle.
5.5. Somit erscheint es als zweifellos unrichtig, wenn die Beschwerdeführerin bzw. ihre Rechtsvorgängerin einzig aufgrund der Stellungnahme des Dr. med. F._ davon ausging, dass der Gesundheitsschaden der Beschwerdegegnerin durch einen Unfall verursacht worden war. Indem die Unfallversicherung nicht abklärte, ob alle Begriffsmerkmale eines Unfalls, insbesondere auch eine plötzliche, nicht beabsichtigte schädigende Einwirkung eines ungewöhnlichen äusseren Faktors (Art. 4 ATSG) die Gesundheitsschädigung bewirkte, verletzte sie den Untersuchungsgrundsatz (Art. 43 ATSG). Da die Versicherung Leistungen zugesichert hat, ohne das Vorliegen eines Unfalls geprüft zu haben, erweist sich die am 23. April 2015 erklärte Anerkennung der Leistungspflicht als zweifellos unrichtig gemäss Art. 53 Abs. 2 ATSG. Deshalb durfte die Beschwerdeführerin auf ihre Leistungszusprache zurückkommen. Die Vorinstanz hat Bundesrecht verletzt, indem sie einen Wiedererwägungsgrund verneinte. Die Sache ist daher zur Durchführung eines umfassenden Beweisverfahrens zur Frage, ob der Gesundheitsschaden der Versicherten auf einen Unfall gemäss Art. 4 ATSG zurückzuführen ist, und - sofern erforderlich - zur Durchführung der von der Versicherten im vorinstanzlichen Verfahren beantragten öffentlichen Verhandlung im Sinne von Art. 6 EMRK zurückzuweisen.
6.
Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Rückweisung der Sache an die Vorinstanz gilt praxisgemäss als Obsiegen der Beschwerde führenden Partei. Die Gerichtskosten sind daher der Beschwerdegegnerin aufzuerlegen (Art. 66 Abs. 1 BGG). Die Helvetia hat als mit öffentlich-rechtlichen Aufgaben betraute Organisation keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 6. März 2020 wird aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, dem Bundesamt für Gesundheit und der IV-Stelle Solothurn schriftlich mitgeteilt.
Luzern, 1. September 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Schüpfer