Sachverhalt:
Sachverhalt:
A. Der 1944 geborene X._ ist kantonaler Angestellter und gestützt auf dieses Arbeitsverhältnis bei der "Zürich" Versicherungs-Gesellschaft (im Folgenden: "Zürich") obligatorisch gegen die Folgen von Berufs- und Nichtberufsunfällen sowie Berufskrankheiten versichert. Am 16. November 2001 liess er der "Zürich" eine Unfallmeldung zugehen, wonach er am 12. Oktober 2001 in seinem Haus in Z._ einen wie folgt geschilderten Unfall erlitten habe: "Aufräumen./Beim Aufnehmen eines Balkens von der Leitertreppe nach hinten gestürzt und mit der Schulter angeschlagen, sodass der Kopf nach hinten flog und die Halswirbelsäule überdehnte. Ca. 15-20 Min. Bewusstlosigkeit./Keine Personen beteiligt."
Die "Zürich" zog einen Formularbericht des Hausarztes Dr. med. J._, FMH für Innere Medizin, vom 30. November 2001 sowie den Austrittsbericht der Klinik für Neurologie des Spitals G._ vom 8. November 2001 bei. In Letzterer war X._ vom 12. bis zum 19. Oktober 2001 hospitalisiert gewesen, wobei der Befund "lakunäre[r] Hirnstamminfarkt im Kerngebiet N. trochlearis rechts" aufgenommen worden und die Diagnose einer lakunären Hirnstamm-Ischämie (ICD-10 E63.9) mit/bei Trochlearisparese rechts sowie vaskulären Risikofaktoren Hypercholesterinämie und Nikotinabusus gestellt worden ist. Auf Intervention des X._ hin formulierte die Chef- und Oberärztin der Klinik für Neurologie des Spitals G._ mit Schreiben vom 24. Juni 2002 diese Diagnose um in: "Trochlearisparese rechts bei Verdacht auf lakunäre Hirnstammischämie". Die "Zürich" besprach die medizinischen Befunde und Untersuchungen am 1. Juli 2002 mit Prof. Dr. med. B._, Leitender Arzt Neurologie des Spitals R._, und erstellte am 3. Juli 2002 ein von diesem unterzeichnetes Besprechungsprotokoll. Nach Gewährung des rechtlichen Gehörs lehnte die "Zürich" mit Verfügung vom 28. Oktober 2002 ihre Leistungspflicht ab. Dies im Wesentlichen mit der Begründung, die erlittene Trochlearisparese rechts sei nicht mit überwiegender Wahrscheinlichkeit durch den am 12. Oktober 2001 erlittenen Unfall verursacht worden. Die dagegen erhobene Einsprache wies die "Zürich" nach Beizug der vom Institut für Radiologie des Spitals G._ erstellten Röntgenbilder mit Einspracheentscheid vom 15. April 2003 ab.
Die "Zürich" zog einen Formularbericht des Hausarztes Dr. med. J._, FMH für Innere Medizin, vom 30. November 2001 sowie den Austrittsbericht der Klinik für Neurologie des Spitals G._ vom 8. November 2001 bei. In Letzterer war X._ vom 12. bis zum 19. Oktober 2001 hospitalisiert gewesen, wobei der Befund "lakunäre[r] Hirnstamminfarkt im Kerngebiet N. trochlearis rechts" aufgenommen worden und die Diagnose einer lakunären Hirnstamm-Ischämie (ICD-10 E63.9) mit/bei Trochlearisparese rechts sowie vaskulären Risikofaktoren Hypercholesterinämie und Nikotinabusus gestellt worden ist. Auf Intervention des X._ hin formulierte die Chef- und Oberärztin der Klinik für Neurologie des Spitals G._ mit Schreiben vom 24. Juni 2002 diese Diagnose um in: "Trochlearisparese rechts bei Verdacht auf lakunäre Hirnstammischämie". Die "Zürich" besprach die medizinischen Befunde und Untersuchungen am 1. Juli 2002 mit Prof. Dr. med. B._, Leitender Arzt Neurologie des Spitals R._, und erstellte am 3. Juli 2002 ein von diesem unterzeichnetes Besprechungsprotokoll. Nach Gewährung des rechtlichen Gehörs lehnte die "Zürich" mit Verfügung vom 28. Oktober 2002 ihre Leistungspflicht ab. Dies im Wesentlichen mit der Begründung, die erlittene Trochlearisparese rechts sei nicht mit überwiegender Wahrscheinlichkeit durch den am 12. Oktober 2001 erlittenen Unfall verursacht worden. Die dagegen erhobene Einsprache wies die "Zürich" nach Beizug der vom Institut für Radiologie des Spitals G._ erstellten Röntgenbilder mit Einspracheentscheid vom 15. April 2003 ab.
B. Beschwerdeweise beantragte X._ die Durchführung eines gerichtlichen Augenscheins am Unfallort, die Befragung dreier Zeugen und die Einholung eines neurologischen Gutachtens zur Richtigkeit der Diagnose "lakunärer Hirnstamminfarkt". Nach Durchführung eines doppelten Schriftenwechsels holte das Versicherungsgericht des Kantons St. Gallen vom neurologischen Spezialarzt F._, einen Bericht vom 9. Januar 2004 zu den häufigsten Ursachen der Trochlearisparese ein. In der Folge ergänzte X._ die Akten seinerseits durch ein e-mail des Neurologen Dr. med. S._, vom 23. Januar 2004 und ein Zeugnis des Augenarztes Dr. med. B._, Facharzt FMH für Ophtalmologie und Ophtalmochirurgie, vom 22. Januar 2004. Mit Entscheid vom 24. März 2004 wies das Versicherungsgericht des Kantons St. Gallen die Beschwerde ab.
B. Beschwerdeweise beantragte X._ die Durchführung eines gerichtlichen Augenscheins am Unfallort, die Befragung dreier Zeugen und die Einholung eines neurologischen Gutachtens zur Richtigkeit der Diagnose "lakunärer Hirnstamminfarkt". Nach Durchführung eines doppelten Schriftenwechsels holte das Versicherungsgericht des Kantons St. Gallen vom neurologischen Spezialarzt F._, einen Bericht vom 9. Januar 2004 zu den häufigsten Ursachen der Trochlearisparese ein. In der Folge ergänzte X._ die Akten seinerseits durch ein e-mail des Neurologen Dr. med. S._, vom 23. Januar 2004 und ein Zeugnis des Augenarztes Dr. med. B._, Facharzt FMH für Ophtalmologie und Ophtalmochirurgie, vom 22. Januar 2004. Mit Entscheid vom 24. März 2004 wies das Versicherungsgericht des Kantons St. Gallen die Beschwerde ab.
C. X._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei die Leistungspflicht der "Zürich" festzustellen.
Die "Zürich" schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Gesundheit auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Im Beschwerdeverfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen ist die Überprüfungsbefugnis des Eidgenössischen Versicherungsgerichts nicht auf die Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens beschränkt, sondern sie erstreckt sich auch auf die Angemessenheit der angefochtenen Verfügung; das Gericht ist dabei - entgegen der Auffassung der "Zürich" in ihrer Vernehmlassung - nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden und kann über die Begehren der Parteien zu deren Gunsten oder Ungunsten hinausgehen (Art. 132 OG).
1. Im Beschwerdeverfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen ist die Überprüfungsbefugnis des Eidgenössischen Versicherungsgerichts nicht auf die Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens beschränkt, sondern sie erstreckt sich auch auf die Angemessenheit der angefochtenen Verfügung; das Gericht ist dabei - entgegen der Auffassung der "Zürich" in ihrer Vernehmlassung - nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden und kann über die Begehren der Parteien zu deren Gunsten oder Ungunsten hinausgehen (Art. 132 OG).
2. 2.1 Gemäss <ref-law> werden die Versicherungsleistungen, soweit das Gesetz nichts anderes bestimmt, bei Berufsunfällen, Nichtberufsunfällen und Berufskrankheiten gewährt. Die Leistungspflicht eines Unfallversicherers gemäss UVG setzt zunächst voraus, dass zwischen dem Unfallereignis und dem eingetretenen Schaden (Krankheit, Invalidität, Tod) ein natürlicher Kausalzusammenhang besteht. Ursachen im Sinne des natürlichen Kausalzusammenhangs sind alle Umstände, ohne deren Vorhandensein der eingetretene Erfolg nicht als eingetreten oder nicht als in der gleichen Weise bzw. nicht zur gleichen Zeit eingetreten gedacht werden kann. Entsprechend dieser Umschreibung ist für die Bejahung des natürlichen Kausalzusammenhangs nicht erforderlich, dass ein Unfall die alleinige oder unmittelbare Ursache gesundheitlicher Störungen ist; es genügt, dass das schädigende Ereignis zusammen mit anderen Bedingungen die körperliche oder geistige Integrität des Versicherten beeinträchtigt hat, der Unfall mit andern Worten nicht weggedacht werden kann, ohne dass auch die eingetretene gesundheitliche Störung entfiele (<ref-ruling> Erw. 3.1, 406 Erw. 4.3.1, 119 V 337 Erw. 1, 118 V 289 Erw. 1b, je mit Hinweisen).
Ob zwischen einem schädigenden Ereignis und einer gesundheitlichen Störung ein natürlicher Kausalzusammenhang besteht, ist eine Tatfrage, worüber die Verwaltung bzw. im Beschwerdefall das Gericht im Rahmen der ihm obliegenden Beweiswürdigung nach dem im Sozialversicherungsrecht üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit zu befinden hat. Die blosse Möglichkeit eines Zusammenhangs genügt für die Begründung eines Leistungsanspruches nicht (<ref-ruling> Erw. 3.1, 119 V 338 Erw. 1, 118 V 289 Erw. 1b, je mit Hinweisen).
2.2 Die Leistungspflicht des Unfallversicherers setzt im Weiteren voraus, dass zwischen dem Unfallereignis und dem eingetretenen Schaden ein adäquater Kausalzusammenhang besteht. Bei somatischen Unfallfolgen spielt indessen die Adäquanz als rechtliche Eingrenzung der aus dem natürlichen Kausalzusammenhang sich ergebenden Haftung des Unfallversicherers praktisch keine Rolle, weil der Unfallversicherer auch für seltenste, schwerwiegendste Komplikationen haftet, welche nach der unfallmedizinischen Erfahrung im Allgemeinen gerade nicht einzutreten pflegen (<ref-ruling> Erw. 3a, 117 V 365 Erw. 5d/bb; RKUV 2004 Nr. U 505 S. 249 Erw. 2.1).
2.3 Die Vorinstanz hat die hier weiter massgebende Bedeutung des Untersuchungsgrundsatzes, nach welchem der rechtserhebliche Sachverhalt sowohl im unfallversicherungsrechtlichen Verwaltungsverfahren (<ref-law>) als auch im Verfahren vor dem kantonalen Versicherungsgericht (<ref-law>) zu ermitteln ist, zutreffend dargelegt. Sie hat auch richtig festgehalten, dass die Beweislastregel, wonach im Falle von Beweislosigkeit zu Ungunsten jener Partei zu entscheiden ist, die aus dem unbewiesen gebliebenen Sachverhalt Rechte ableiten will, erst dann Platz greift, wenn es sich als unmöglich erweist, im Rahmen des Untersuchungsgrundsatzes auf Grund einer Beweiswürdigung einen Sachverhalt zu ermitteln, der zumindest die Wahrscheinlichkeit für sich hat, der Wirklichkeit zu entsprechen (<ref-ruling> Erw. 3b mit Hinweis). Darauf wird verwiesen.
2.3 Die Vorinstanz hat die hier weiter massgebende Bedeutung des Untersuchungsgrundsatzes, nach welchem der rechtserhebliche Sachverhalt sowohl im unfallversicherungsrechtlichen Verwaltungsverfahren (<ref-law>) als auch im Verfahren vor dem kantonalen Versicherungsgericht (<ref-law>) zu ermitteln ist, zutreffend dargelegt. Sie hat auch richtig festgehalten, dass die Beweislastregel, wonach im Falle von Beweislosigkeit zu Ungunsten jener Partei zu entscheiden ist, die aus dem unbewiesen gebliebenen Sachverhalt Rechte ableiten will, erst dann Platz greift, wenn es sich als unmöglich erweist, im Rahmen des Untersuchungsgrundsatzes auf Grund einer Beweiswürdigung einen Sachverhalt zu ermitteln, der zumindest die Wahrscheinlichkeit für sich hat, der Wirklichkeit zu entsprechen (<ref-ruling> Erw. 3b mit Hinweis). Darauf wird verwiesen.
3. Da der Beschwerdeführer eine Trochlearisparese rechts, d.h. einen somatischen Gesundheitsschaden, erlitten hat, ist streitig und zu prüfen, ob ein natürlicher Kausalzusammenhang zwischen dieser Gesundheitsstörung und dem Unfallereignis vom 12. Oktober 2001 besteht oder nicht. Es ist also zu untersuchen, ob die beim Beschwerdeführer aufgetretene Trochlearisparese rechts eine natürlich kausale Folge des Sturzes vom 12. Oktober 2001 ist und nicht umgekehrt die Trochlearisparese sowie die als Folge davon beim Beschwerdeführer aufgetretenen Doppelbilder zu jenem Sturz geführt haben. Die adäquate Kausalität spielt demgegenüber eine untergeordnete Rolle (vgl. Erw. 2.2 hievor).
3.1 Der Nachweis des natürlichen Kausalzusammenhanges zwischen dem Unfallereignis und dem eingetretenen Gesundheitsschaden kann unmittelbar anhand der initialen Unfallakten erfolgen, wenn die geklagten Beschwerden, die erhobenen Befunde und der diagnostizierte Gesundheitsschaden mit dem Unfallgeschehen oder der Unfallschilderung des Versicherten zwanglos korrelieren und der Gesundheitsschaden ohne weiteres als Folge des erlittenen Unfalles erscheint. Ist das nicht der Fall, kann der Nachweis, dass es sich beim vorhandenen Gesundheitsschaden um eine natürlich kausale Unfallfolge handelt, nur durch mittelbaren Beweis mit Hilfe von Indizien geleistet werden. Als Indizien, mit welchen die natürliche Unfallkausalität nachgewiesen werden kann, fallen dabei vorab der Zeitpunkt und das Motiv der Unfallmeldung, die Zeitspanne zwischen Ereignis und Meldung sowie die Anamnese, namentlich ob diese frühere gleiche oder analoge Gesundheitsstörungen enthält, in Betracht. Von erheblicher Bedeutung für die Beweiswürdigung ist dabei - gleich wie beim Unfallbeweis als solchem (vgl. dazu <ref-ruling> Erw. 2a mit Hinweisen) - die Beweismaxime, dass die spontanen "Aussagen der ersten Stunde" in der Regel unbefangener und zuverlässiger sind als spätere Darstellungen, die bewusst oder unbewusst von nachträglichen Überlegungen versicherungsrechtlicher oder anderer Art beeinflusst sein können. Dem Umstand, dass die erste Schilderung des Unfallgeschehens mit späteren Darstellungen in wesentlichen Punkten nicht übereinstimmt, kommt nach dieser Beweiswürdigungsregel auch für den Beweis der natürlichen Unfallkausalität ausschlaggebende Bedeutung zu. Sie kann aber auch hier nur zur Anwendung gelangen, wenn von weiteren Beweismassnahmen keine neuen Erkenntnisse zu erwarten sind (Urteil S. vom 19. Mai 2004, U 236/03; Alfred Bühler, Der Unfallbegriff, in: Alfred Koller [Hrsg.], Haftpflicht- und Versicherungsrechtstagung 1995, St. Gallen 1995, S. 268). Anders als beim Unfallbeweis als solchem (vgl. dazu RKUV 1990 Nr. U 86 S. 51 Erw. 2; Bühler, a.a.O., S. 268; Alfred Maurer, Schweizerisches Unfallversicherungsrecht, Bern 1985, S. 264) sind hingegen die medizinischen Erkenntnisse bezüglich der traumatischen oder pathologischen Ursachen eines Gesundheitsschadens für den Nachweis der natürlichen Unfallkausalität nicht bloss ein Indiz, sondern regelmässig von ausschlaggebender (Beweis-) Bedeutung. Denn es ist Aufgabe des Unfallmediziners, den Ursache-/Wirkungszusammenhang zwischen einem Unfallereignis und einer vorhandenen (somatischen) Gesundheitsstörung zu klären und namentlich dazu Stellung zu nehmen, ob ein bestimmtes Unfallgeschehen nach unfallmedizinischer Erfahrung physiologisch geeignet war - allenfalls als blosse Teilursache, aber mit überwiegender Wahrscheinlichkeit - zur fraglichen Gesundheitsstörung zu führen.
3.2 Ein direkter Beweis, dass die beim Beschwerdeführer am 12. Oktober 2001 aufgetretene und von der Klinik für Neurologie des Spitals G._ diagnostizierte Trochlearisparese rechts durch einen Sturz (von der Leiter) verursacht wurde, ist im vorliegenden Fall nicht möglich, da der Beschwerdeführer dabei keine für eine Schädel- /Hirnverletzung mit konsekutiver Trochlearislähmung signifikanten Kopfverletzungen erlitten hat. Ebenso wenig klagte der Beschwerdeführer unmittelbar nach dem Unfall über Symptome wie Kopfweh, Übelkeit, Erbrechen, Schwindel, Sensibilitätsstörungen oder Paresen, welche auf ein Schädel-/Hirntrauma hätten schliessen lassen. Als äusserlich feststellbare Befunde wurden vom erstbehandelnden Hausarzt Dr. med. J._ einzig nicht näher lokalisierte, "multiple Kontusionen" und in der Klinik für Neurologie Schürfwunden am linken Oberarm sowie im Bereich der linken Hüfte erhoben. Dabei handelte es sich offensichtlich nicht um das äussere Korrelat der diagnostizierten Trochlearisparese.
3.3 Das Fehlen von für ein Schädel-/Hirntrauma typischen Kopfverletzungen und Symptomen steht auch dem mittelbaren Nachweis einer unfallbedingten Ursache der erlittenen Trochlearisparese entgegen. Denn der von der "Zürich" im Juli 2002 konsiliarisch befragte Neurologe Prof. Dr. med. B._ hat überzeugend darauf hingewiesen, dass eine Trochlearisparese nur durch eine schwere Schädel-/Hirnverletzung traumatisch verursacht werden kann. Der Umstand, dass der Beschwerdeführer kein Schädel-/Hirntrauma in der für eine Trochlearislähmung erforderlichen Schwere erlitten hat, stimmt sodann mit seinen ersten, unmittelbar nach dem Unfall in der Klinik für Neurologie des Spitals G._ gemachten anamnestischen Angaben überein. Dort hat er den Unfall so geschildert, dass beim Hochheben eines Balkens - und nicht etwa erst nach einem Sturz (von der Leiter) - Doppelbilder aufgetreten seien. An einen Sturz vermochte sich der Versicherte gar nicht zu erinnern, sondern er schloss lediglich aus der Tatsache, dass seine Brille am Boden lag, darauf, er könnte "vielleicht doch gestürzt und kurzzeitig bewusstlos gewesen sein". Diese mit den medizinischen Befunden korrelierenden "Aussagen der ersten Stunde" sind ausschlaggebend. Sie können nicht nachträglich durch einen aus relativ grosser Höhe - der Beschwerdeführer hat im Verwaltungsverfahren eine solche von drei Metern, in seiner vorinstanzlichen Beschwerdeschrift eine solche von zwei Metern genannt - erfolgten Sturz (von der Leiter) und ein dabei erlittenes schweres Schädel- /Hirntrauma ersetzt werden, weil hiefür die erforderlichen medizinischen Befunde gänzlich fehlen. Damit ist auch der Kausalitätsbeurteilung durch den vom Beschwerdeführer auf elektronischem Weg konsultierten Neurologen Dr. med. S._ der Boden entzogen. Dieser hat nämlich einen "Sturz von der Leiter" als feststehend angenommen. Weiter ist zu berücksichtigen, dass sich dieser Arzt nur im Rahmen einer Anfrage per e-mail kurz geäussert hat und offensichtlich nicht über Aktenkenntnis verfügte (vgl. <ref-ruling> Erw. 3a), weshalb schon in dieser Hinsicht nicht entscheidwesentlich auf diese Äusserung abgestellt werden kann.
3.4 Zusammenfassend hat die Vorinstanz den Nachweis eines natürlichen Kausalzusammenhanges zwischen der vom Beschwerdeführer erlittenen Trochlearisparese rechts und dem Unfallereignis vom 12. Oktober 2001 zu Recht verneint. Die dargelegten Indizien lassen es vielmehr gerade umgekehrt als überwiegend wahrscheinlich erscheinen, dass der Beschwerdeführer am 12. Oktober 2001 wegen des Auftretens von Doppelbildern, die durch eine pathologische Trochlearisparese rechts ausgelöst wurden, gestürzt ist und sich dabei Schürfungen am linken Oberarm und an der linken Hüfte zugezogen hat. Es kann letztlich offen bleiben, ob der Versicherte am 12. Oktober 2001 überhaupt von der Leiter gefallen ist (was die "Zürich" zu bestreiten scheint) oder ob er nur (aber immerhin) gestürzt ist.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Gesundheit (BAG) zugestellt.
Luzern, 30. November 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: