Sachverhalt: Sachverhalt: A. Der 1944 geborene X._ ist kantonaler Angestellter und gestützt auf dieses Arbeitsverhältnis bei der "Zürich" Versicherungs-Gesellschaft (im Folgenden: "Zürich") obligatorisch gegen die Folgen von Berufs- und Nichtberufsunfällen sowie Berufskrankheiten versichert. Am 16. November 2001 liess er der "Zürich" eine Unfallmeldung zugehen, wonach er am 12. Oktober 2001 in seinem Haus in Z._ einen wie folgt geschilderten Unfall erlitten habe: "Aufräumen./Beim Aufnehmen eines Balkens von der Leitertreppe nach hinten gestürzt und mit der Schulter angeschlagen, sodass der Kopf nach hinten flog und die Halswirbelsäule überdehnte. Ca. 15-20 Min. Bewusstlosigkeit./Keine Personen beteiligt." Die "Zürich" zog einen Formularbericht des Hausarztes Dr. med. J._, FMH für Innere Medizin, vom 30. November 2001 sowie den Austrittsbericht der Klinik für Neurologie des Spitals G._ vom 8. November 2001 bei. In Letzterer war X._ vom 12. bis zum 19. Oktober 2001 hospitalisiert gewesen, wobei der Befund "lakunäre[r] Hirnstamminfarkt im Kerngebiet N. trochlearis rechts" aufgenommen worden und die Diagnose einer lakunären Hirnstamm-Ischämie (ICD-10 E63.9) mit/bei Trochlearisparese rechts sowie vaskulären Risikofaktoren Hypercholesterinämie und Nikotinabusus gestellt worden ist. Auf Intervention des X._ hin formulierte die Chef- und Oberärztin der Klinik für Neurologie des Spitals G._ mit Schreiben vom 24. Juni 2002 diese Diagnose um in: "Trochlearisparese rechts bei Verdacht auf lakunäre Hirnstammischämie". Die "Zürich" besprach die medizinischen Befunde und Untersuchungen am 1. Juli 2002 mit Prof. Dr. med. B._, Leitender Arzt Neurologie des Spitals R._, und erstellte am 3. Juli 2002 ein von diesem unterzeichnetes Besprechungsprotokoll. Nach Gewährung des rechtlichen Gehörs lehnte die "Zürich" mit Verfügung vom 28. Oktober 2002 ihre Leistungspflicht ab. Dies im Wesentlichen mit der Begründung, die erlittene Trochlearisparese rechts sei nicht mit überwiegender Wahrscheinlichkeit durch den am 12. Oktober 2001 erlittenen Unfall verursacht worden. Die dagegen erhobene Einsprache wies die "Zürich" nach Beizug der vom Institut für Radiologie des Spitals G._ erstellten Röntgenbilder mit Einspracheentscheid vom 15. April 2003 ab. Die "Zürich" zog einen Formularbericht des Hausarztes Dr. med. J._, FMH für Innere Medizin, vom 30. November 2001 sowie den Austrittsbericht der Klinik für Neurologie des Spitals G._ vom 8. November 2001 bei. In Letzterer war X._ vom 12. bis zum 19. Oktober 2001 hospitalisiert gewesen, wobei der Befund "lakunäre[r] Hirnstamminfarkt im Kerngebiet N. trochlearis rechts" aufgenommen worden und die Diagnose einer lakunären Hirnstamm-Ischämie (ICD-10 E63.9) mit/bei Trochlearisparese rechts sowie vaskulären Risikofaktoren Hypercholesterinämie und Nikotinabusus gestellt worden ist. Auf Intervention des X._ hin formulierte die Chef- und Oberärztin der Klinik für Neurologie des Spitals G._ mit Schreiben vom 24. Juni 2002 diese Diagnose um in: "Trochlearisparese rechts bei Verdacht auf lakunäre Hirnstammischämie". Die "Zürich" besprach die medizinischen Befunde und Untersuchungen am 1. Juli 2002 mit Prof. Dr. med. B._, Leitender Arzt Neurologie des Spitals R._, und erstellte am 3. Juli 2002 ein von diesem unterzeichnetes Besprechungsprotokoll. Nach Gewährung des rechtlichen Gehörs lehnte die "Zürich" mit Verfügung vom 28. Oktober 2002 ihre Leistungspflicht ab. Dies im Wesentlichen mit der Begründung, die erlittene Trochlearisparese rechts sei nicht mit überwiegender Wahrscheinlichkeit durch den am 12. Oktober 2001 erlittenen Unfall verursacht worden. Die dagegen erhobene Einsprache wies die "Zürich" nach Beizug der vom Institut für Radiologie des Spitals G._ erstellten Röntgenbilder mit Einspracheentscheid vom 15. April 2003 ab. B. Beschwerdeweise beantragte X._ die Durchführung eines gerichtlichen Augenscheins am Unfallort, die Befragung dreier Zeugen und die Einholung eines neurologischen Gutachtens zur Richtigkeit der Diagnose "lakunärer Hirnstamminfarkt". Nach Durchführung eines doppelten Schriftenwechsels holte das Versicherungsgericht des Kantons St. Gallen vom neurologischen Spezialarzt F._, einen Bericht vom 9. Januar 2004 zu den häufigsten Ursachen der Trochlearisparese ein. In der Folge ergänzte X._ die Akten seinerseits durch ein e-mail des Neurologen Dr. med. S._, vom 23. Januar 2004 und ein Zeugnis des Augenarztes Dr. med. B._, Facharzt FMH für Ophtalmologie und Ophtalmochirurgie, vom 22. Januar 2004. Mit Entscheid vom 24. März 2004 wies das Versicherungsgericht des Kantons St. Gallen die Beschwerde ab. B. Beschwerdeweise beantragte X._ die Durchführung eines gerichtlichen Augenscheins am Unfallort, die Befragung dreier Zeugen und die Einholung eines neurologischen Gutachtens zur Richtigkeit der Diagnose "lakunärer Hirnstamminfarkt". Nach Durchführung eines doppelten Schriftenwechsels holte das Versicherungsgericht des Kantons St. Gallen vom neurologischen Spezialarzt F._, einen Bericht vom 9. Januar 2004 zu den häufigsten Ursachen der Trochlearisparese ein. In der Folge ergänzte X._ die Akten seinerseits durch ein e-mail des Neurologen Dr. med. S._, vom 23. Januar 2004 und ein Zeugnis des Augenarztes Dr. med. B._, Facharzt FMH für Ophtalmologie und Ophtalmochirurgie, vom 22. Januar 2004. Mit Entscheid vom 24. März 2004 wies das Versicherungsgericht des Kantons St. Gallen die Beschwerde ab. C. X._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei die Leistungspflicht der "Zürich" festzustellen. Die "Zürich" schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Gesundheit auf eine Vernehmlassung verzichtet.