Sachverhalt:
A.
Als X._ mit seinem Personenwagen das Tierfuhrwerk von A._ überholte, brannten die Pferde durch. A._ stürzte von der Kutsche und zog sich eine Schulterfraktur zu.
B.
Das Kreisgericht Werdenberg-Sarganserland verurteilte X._ wegen fahrlässiger Körperverletzung zu einer bedingten Geldstrafe von 10 Tagessätzen zu Fr. 80.-- und einer Busse von Fr. 400.--. Es stellte fest, er hafte im Grundsatz für die Folgen der Körperverletzung, und verwies die Forderung im Übrigen auf den Zivilweg. Es auferlegte X._ die Verfahrenskosten und verpflichtete ihn, A._ für dessen Aufwendungen im Verfahren zu entschädigen.
Dieses Urteil bestätigte das Kantonsgericht St. Gallen insoweit, als der Schuldspruch, die Zivilforderung sowie die Kosten- und Entschädigungsfolgen betroffen waren. Es verurteilte X._ zu einer bedingten Geldstrafe von 10 Tagessätzen zu Fr. 50.--. Auf eine Verbindungsbusse verzichtete es.
C.
X._ beantragt mit Beschwerde in Strafsachen, das Urteil des Kantonsgerichts sei aufzuheben, und er sei freizusprechen. Die Zivilforderung sei vollständig auf den Zivilweg zu verweisen. Eventualiter sei die Sache zu neuer Beurteilung an das Kantonsgericht zurückzuweisen.

Erwägungen:
1.
Der Beschwerdeführer wendet sich gegen die Verurteilung wegen fahrlässiger Körperverletzung. Sein Überholmanöver sei nicht sorgfaltswidrig gewesen.
1.1.
1.1.1. Fahrlässig handelt, wer die Folge seines Verhaltens aus pflichtwidriger Unvorsichtigkeit nicht bedenkt oder darauf nicht Rücksicht nimmt (<ref-law>). Ein Schuldspruch wegen fahrlässiger Körperverletzung gemäss <ref-law> setzt somit voraus, dass der Täter den Erfolg durch Verletzung einer Sorgfaltspflicht verursacht hat. Sorgfaltswidrig ist die Handlungsweise, wenn der Täter zum Zeitpunkt der Tat aufgrund der Umstände sowie seiner Kenntnisse und Fähigkeiten die damit bewirkte Gefährdung der Rechtsgüter des Opfers hätte erkennen können und müssen und wenn er zugleich die Grenzen des erlaubten Risikos überschritten hat. Für die Zurechenbarkeit des Erfolgs genügt die blosse Vorhersehbarkeit nicht. Erforderlich ist auch dessen Vermeidbarkeit. Der Erfolg ist vermeidbar, wenn er nach einem hypothetischen Kausalverlauf bei pflichtgemässem Verhalten des Täters ausgeblieben wäre. Das Mass der im Einzelfall zu beachtenden Sorgfalt richtet sich, wo besondere, der Unfallverhütung und der Sicherheit dienende Normen ein bestimmtes Verhalten gebieten, in erster Linie nach diesen Vorschriften (<ref-ruling> E. 2.1 S. 64 f. mit Hinweisen).
1.1.2. Im Strassenverkehr beurteilt sich der Umfang der zu beachtenden Sorgfalt nach den Bestimmungen des Strassenverkehrsgesetzes und der dazu gehörenden Verordnungen. Wer überholt, muss auf die übrigen Strassenbenützer, namentlich auf jene, die er überholen will, besonders Rücksicht nehmen (<ref-law>). Der Fahrzeugführer hat das Erschrecken von Tieren möglichst zu vermeiden (<ref-law>). Bei der Begegnung mit Tierfuhrwerken und Tieren hat er so zu fahren, dass die Tiere nicht erschreckt werden (Art. 4 Abs. 4 der Verkehrsregelnverordnung vom 13. November 1962 [SR 741.11]).
1.2. Die Vorinstanz stellt fest, der Beschwerdegegner habe auf einem Feldweg im Schritttempo ein Tierfuhrwerk geführt. Der Beschwerdeführer habe in seinem Personenwagen von hinten aufgeschlossen und sei kurze Zeit hinter dem Beschwerdegegner geblieben. Dieser habe den Beschwerdeführer bemerkt, nach hinten geblickt und die Fahrt fortgesetzt, ohne ein Zeichen zu geben. Darauf habe ihn der Beschwerdeführer auf der angrenzenden Wiese im Abstand von zirka 7 m mit einer Geschwindigkeit von ungefähr 10 km/h überholt. Wegen des Überholvorgangs seien die Pferde durchgebrannt, weshalb der Beschwerdegegner von der Kutsche gestürzt sei und sich eine Trümmerfraktur der linken Schulter zugezogen habe.
Der Beschwerdeführer sei als ehemaliger Pferdehalter vertraut im Umgang mit diesen Tieren. Es sei ihm bewusst gewesen, dass beim Überholen besondere Vorsicht geboten ist. Er hätte mit dem Überholvorgang warten müssen, bis ihm der Beschwerdegegner beispielsweise durch ein Handzeichen oder einen Zwischenhalt signalisiert hätte, dass er überholen könne. Er habe gewusst, dass er durch seinen Überholvorgang eine für den Beschwerdegegner und dessen Pferde überraschende Situation schaffen würde.
Der Beschwerdeführer habe voraussehen können, dass die Pferde aufgrund seines Überholmanövers durchgehen könnten. Ebenso sei für ihn erkennbar gewesen, dass der Beschwerdegegner in der Folge vom Kutschbock fallen und sich verletzen könnte. Es lägen keine ganz aussergewöhnlichen Umstände vor, mit denen schlechthin nicht gerechnet werden musste und die derart schwer wiegen, dass sie als wahrscheinlichste und unmittelbarste Ursache des Erfolgs erscheinen und so alle anderen mitverursachenden Faktoren in den Hintergrund drängen. Selbst wenn der Beschwerdegegner mitverantwortlich wäre, weil er etwa den Verkehr hinter sich nicht genügend aufmerksam verfolgte und deshalb seine Pferde ungenügend auf den Überholvorgang vorbereitete, änderte dies an der Voraussehbarkeit der Ereignisse durch den Beschwerdeführer nichts. Es sei nicht ersichtlich, worin die ganz aussergewöhnlichen Umstände liegen sollten. Zudem habe der Beschwerdeführer, noch bevor die Pferde scheuten, angenommen, dass der Beschwerdegegner sich nicht adäquat verhalten und insbesondere die Pferde nicht zurückgehalten hatte. Entsprechend sei er zu besonderer Vorsicht angehalten gewesen. Indem er sein Manöver dennoch ausführte, habe er die Grenzen des erlaubten Risikos überschritten und die ihm obliegenden Sorgfaltspflichten verletzt.
Der Erfolg sei ohne Weiteres vermeidbar gewesen. Hätte der Beschwerdeführer mit dem Überholvorgang zugewartet oder davon abgesehen, wäre es mit an Sicherheit grenzender Wahrscheinlichkeit nicht zum Durchgehen der Pferde und dem daraus resultierenden Sturz des Beschwerdegegners samt Verletzungen gekommen.
Der Beschwerdeführer habe gewisse Vorsichtsmassnahmen getroffen, indem er mit vergleichsweise grossem Abstand und tiefer Geschwindigkeit überholte. Da die Massnahmen ungenügend gewesen seien, änderten sie nichts an seinem fahrlässigen Verhalten und seien lediglich im Rahmen der Strafzumessung zu berücksichtigen.
1.3. Der Schuldspruch der fahrlässigen Körperverletzung ist bundesrechtskonform. Was der Beschwerdeführer dagegen vorbringt, dringt nicht durch.
1.3.1. Über weite Strecken übt der Beschwerdeführer appellatorische Kritik an der vorinstanzlichen Sachverhaltsfeststellung, ohne darzulegen, inwiefern diese offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 Abs. 1 und 2 BGG). Dies ist zum Beispiel der Fall, wenn er ausführt, die Pferde seien nicht wegen seines Überholmanövers erschrocken, sondern aus einem anderen Grund durchgebrannt, oder wenn er vorträgt, alle hätten in ihm "recht unfair" den Schuldigen gesehen. Gleiches gilt, wenn er "allen bisherigen Strafbehörden" vorwirft, sie hätten keinerlei Beweise abgenommen, die sich zu seinen Gunsten hätten auswirken können. Er legt nicht dar, inwiefern die Überprüfung der Pferde, der Kutsche oder des Beschwerdegegners unabdingbar waren. Darauf ist nicht einzutreten.
1.3.2. Im Übrigen bringt der Beschwerdeführer vor, nach den vorinstanzlichen Erwägungen seien Pferde gewohnt, dass Traktoren auf Wiesen und Äckern fahren, während es unüblich sei, dass Autos sie von hinten auf einer Wiese überholten. Dies sei widersinnig, könnten Pferde doch kaum Fahrzeugkategorien auseinanderhalten. Überdies sei nicht ersichtlich, weshalb ein knatternder Traktor ein Pferd nicht erschrecken könne, wogegen ein sehr langsam in 7 m Distanz fahrendes Auto ein Pferd aufzuscheuchen vermöge. Die Vorinstanz erwägt unter Hinweis auf das Gutachten vom 28. Februar 2014, Pferde suchten bei unerwarteten Ereignissen ihr Heil in der Flucht. An Verkehr gewöhnten sie sich schnell. Sie seien damit vertraut, dass auf Strassen mit Verkehr Motorfahrzeuge von vorne kreuzen und von hinten überholen. Ebenso seien sie gewohnt, dass Traktoren auf Wiesen und Äckern fahren. Ungewohnt, weil unüblich, sei es für Pferde, dass sie von einem auf einer Wiese fahrenden Auto von hinten überholt werden. Damit hält die Vorinstanz entgegen den Ausführungen des Beschwerdeführers nicht fest, die Pferde wären nicht erschrocken, hätte nicht sein Personenwagen, sondern ein Traktor sie überholt. Ebenso wenig erwägt sie, Pferde könnten Fahrzeugkategorien unterscheiden.
Der Beschwerdeführer wendet ein, der Beschwerdegegner hätte die Pferde auf jeden Fall im Griff haben müssen. Dass er die Nervosität des Beschwerdegegners wahrgenommen habe, könne ihm nicht angelastet werden. Die Vorinstanz erwägt, der Beschwerdeführer habe vor dem Überholmanöver bemerkt, dass der Beschwerdegegner nervös sei. Spätestens in diesem Zeitpunkt hätte er gewahr werden müssen, dass der Beschwerdegegner die Pferde allenfalls nicht hinreichend auf sein Überholmanöver vorbereiten würde und seine Tiere ungenügend im Griff haben könnte. Es wäre folglich angezeigt gewesen, dass er auf ein Handzeichen oder einen Zwischenhalt des Beschwerdegegners wartet oder ganz vom Überholen absieht. Diese Erwägungen sind nicht zu beanstanden.
Weiter trägt der Beschwerdeführer vor, es sei schleierhaft, welche zusätzlichen Vorsichtsmassnahmen er hätte treffen sollen. Die Vorinstanz erwägt zutreffend, er hätte zumindest sicherstellen müssen, dass der Beschwerdegegner den Überholvorgang rechtzeitig erkennt und Einfluss auf seine Pferde nehmen kann. Dass nirgends geschrieben steht, der Beschwerdeführer habe nur auf ein Handzeichen des Beschwerdegegners überholen dürfen, schadet freilich nicht. Der Beschwerdeführer wendet ein, er habe sein Überholmanöver abgebrochen, als er wahrnahm, dass der Beschwerdegegner die Pferde nicht im Griff hatte. Dies hilft ihm nicht, da er in diesem Zeitpunkt den Kausalverlauf bereits in Gang gesetzt hatte.
Als unbegründet erweist sich auch die Rüge, es sei nicht untersucht worden, ob die Pferde mit Scheuklappen versehen waren. Die Vorinstanz gelangt zum Ergebnis, es könne offenbleiben, ob die Pferde Scheuklappen trugen. Zwar halte es der Gutachter für unwahrscheinlich, dass Pferde ohne Scheuklappen erschrecken, er schliesse eine Schreckreaktion aber nicht aus.
2.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Strafkammer, schriftlich mitgeteilt.
Lausanne, 9. Februar 2015
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Die Gerichtsschreiberin: Andres