Sachverhalt:
A.
A.a. Die A._ AG mit Sitz in U._ (Beklagte, Beschwerdeführerin) hat zum Zweck die Planung, Realisierung, Verwaltung, Vermittlung und den Handel mit Immobilien im Wohn- und Gewerbebereich sowie die Beratung und Betreuung von Bauherren. Sie ist Eigentümerin eines (überbauten) Grundstücks an der Strasse X._ auf dem sie ein Lofthaus erstellen will. Für dieses Lofthaus "Y._" erteilte ihr die Gemeinde C._ am 11. September 2012 eine Baubewilligung.
A.b. B._ (Kläger, Beschwerdegegner) und seine Ehefrau interessierten sich für den Erwerb eines Wohn-/Bürohauses. Sie schlossen am 26./29. Mai 2013 mit der A._ AG eine als Reservationsvertrag bezeichnete Vereinbarung betreffend das Objekt Lofthaus "Y._", haltend eine Grundstückfläche von 322 m2. Die Beklagte verpflichtete sich, dem Kläger ein Wohn-/Bürohaus zu erstellen mit einer Wohn-/Arbeitsfläche von ca. 133 m2 im Erdgeschoss, ca. 101 m2 im Obergeschoss und ca. 10 m2 im Dachgeschoss. Beide Parteien verpflichteten sich in Ziffer 3 des Reservationsvertrags, Projektänderungen zum bereits bewilligten Projekt zu erarbeiten, beim zuständigen Bauamt zur Bewilligung einzureichen und "im Rahmen der un ter Ziffer 4 angegebenen Anlagekosten als Ersatz für diesen Vertrag den Pauschal-Werkvertrag gemäss beiliegendem Entwurf für die Erstellung der Baute abzuschliessen ". Gemäss Ziffer 4 betrugen die geschätzten Anlagekosten Fr. 1'540'000.--. Als vorgesehener Baubeginn wurde in Ziffer 9 Sommer/Herbst 2013 und als vorgesehener Bezug Mitte 2014 angegeben.
A.c. In Ziffer 5 der Reservationsvereinbarung vereinbarten die Parteien eine Anzahlung von Fr. 50'000.--. Diese Zahlung sollte dem Gesamtkaufpreis wie folgt angerechnet werden:
" BKP 0 Grundstück CHF 680'000.00 inkl. Baubestand
BKP 0 2 Garagenplätze CHF 60'000.00 in best. Tiefgarage Assek- Nr.1425 Zwischentotal CHF 740'000.00
./. Anzahlung CHF 50'000.--
Restzahlung Gesamt-
kaufpreis CHF 690'000.--".
A.d. Mit E-Mail vom 1. September 2014 teilten der Kläger und seine Ehefrau dem Rechtsvertreter der Beklagten ihren Entscheid mit, "das Projekt Y._-Lofthaus abzubrechen". Mit Schreiben vom 7. September 2014 forderten sie die Rückleistung der erfolgten Anzahlung bis 25. September 2014. Die Rückleistung blieb aus. Am 28. September 2014 zedierte die Ehefrau dem Kläger ihren Rückforderungsanspruch.
A.e. Am 4. Mai 2015 wurde der Beklagten ein Zahlungsbefehl über Fr. 50'000.-- nebst 5 % Zins seit 26. September 2014 zugestellt. Dagegen erhob die Beklagte Rechtsvorschlag. Sie bestritt den Rückzahlungsanspruch und machte insbesondere Verjährung sowie Verrechnungsansprüche geltend.
B.
B.a. Am 18. August 2015 gelangte der Kläger nach erfolgloser Durchführung des Schlichtungsverfahrens an das Kreisgericht Wil im Wesentlichen mit den Begehren (1), die Beklagte sei zu verpflichten, ihm den Betrag von Fr. 50'000.-- nebst Zins zu 5 % seit dem 26. September 2014 und Betreibungskosten von total Fr. 200.20 zu bezahlen. (2) Der Rechtsvorschlag der Beklagten in der Betreibung Nr. xxxx des Betreibungsamtes Wil SG sei zu beseitigen und es sei dem Kläger für die gesamte Forderung die definitive Rechtsöffnung zu erteilen.
Mit Entscheid vom 17. August 2016 hiess das Kreisgericht Wil die Klage - mit Ausnahme der nicht separat zuzusprechenden Betreibungskosten von Fr. 200.20 - gut.
B.b. Das Kantonsgericht St. Gallen wies die Berufung der Beklagten gegen den Entscheid des Kreisgerichts Wil vom 17. August 2016 am 12. Januar 2018 ab. Das Kantonsgericht stellte fest, die Parteien hätten sich mit dem Reservationsvertrag nicht nur - wie in dessen Ziffer 3 erwähnt - zum Abschluss eines Pauschal-Werkvertrags verpflichten wollen, was grundsätzlich formfrei möglich sei, sondern sie hätten zunächst das Grundstückgeschäft beabsichtigt, für welches die Anzahlung geleistet worden sei. Da es an der öffentlichen Beurkundung fehle, sei die Verpflichtung zur Anzahlung im Hinblick auf den künftigen Vertrag nichtig und die Rückforderung sei nach den Bestimmungen über die ungerechtfertigte Bereicherung berechtigt. Das Gericht verneinte sodann Rechtsmissbrauch, den Eintritt der Verjährung sowie gestützt auf Ziffern 7 und 8 der Reservationsvereinbarung und mangels Substanziierung des Schadens auch Verrechnungsansprüche.
C.
Mit Beschwerde in Zivilsachen stellt die Beklagte die Rechtsbegehren, der Entscheid des Kantonsgerichts St. Gallen vom 12. Januar 2018 sei aufzuheben und die Klage sei abzuweisen, eventuell sei die Sache an das Kantonsgericht zurückzuweisen. Zum Sachverhalt kritisiert die Beschwerdeführerin zunächst, dass Ziffer 6 des Reservationsvertrags nicht erwähnt werde, wo die Parteien die Verzinsung der Anzahlung bis zum Abschluss des Werkvertrags regelten und dass die Vorinstanz Ziffern 7 und 8 in eine falsche Folge bringe und falsch verstehe. Sodann kommentiert sie die Erwägungen der Vorinstanz abschnittsweise. So bemerkt sie, die erste Instanz habe richtig erkannt, dass die vorgesehene Projektbereinigung einen wesentlichen Teil der Reservationsvereinbarung bilde, wofür auf die Berufung verwiesen werde. Im Folgenden hält sie in Bezug auf den Rechtsmissbrauch dafür, die rechtskundigen Parteien hätten den Reservationsvertrag zumindest in der Hauptsache erfüllt und stellt den Ablauf der Ereignisse aus ihrer Sicht dar, um den Schluss der Vorinstanz zu widerlegen, dass der Beschwerdegegner den für den 1. September 2014 provisorisch fixierten Beurkundungstermin nicht länger für realistisch erachtete. Sie befürwortet, die Rückforderung sei gestützt auf <ref-law> zu verweigern. Ferner hält sie die Voraussetzungen einer einzig das negative Interesse abgeltenden und damit formlos gültigen Konventionalstrafe gemäss <ref-ruling> für erfüllt und bringt vor, sie habe im kantonalen Verfahren durchaus Ausführungen gemacht, die für das Verständnis der Reservationsvereinbarung und namentlich deren Ziffern 7 und 8 von Bedeutung seien und sie sei vom Schadensnachweis zu befreien, da sich im vorliegenden Fall die Pauschalierung des negativen Interesses rechtfertige.
Der Beschwerdegegner beantragt in der Antwort, die Beschwerde sei abzuweisen, soweit darauf einzutreten ist. Die Beschwerdeführerin hat unaufgefordert repliziert.

Erwägungen:
1.
Die Beschwerde betrifft eine Zivilsache (<ref-law>), sie richtet sich gegen den Endentscheid (<ref-law>) eines oberen kantonalen Gerichts, das als Rechtsmittelinstanz entschieden hat (<ref-law>), die Beschwerdeführerin ist mit ihren Anträgen unterlegen (<ref-law>), der Streitwert ist erreicht (<ref-law>) und die Beschwerdefrist ist eingehalten (<ref-law>). Insoweit ist die Beschwerde zulässig.
2.
2.1. Nach <ref-law> haben Rechtsschriften namentlich die Begehren und deren Begründung mit Angabe der Beweismittel zu enthalten. Nach <ref-law> ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt.
2.1.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Indessen prüft es grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 1.3; <ref-ruling> E. 1.4 S. 400). Dabei ist im Hinblick auf <ref-law> unerlässlich, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die Beschwerde führende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen, und der blosse Verweis auf Ausführungen in andern Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 1.2.3; <ref-ruling> E. 3.2 S. 400).
2.1.2. Die Beschwerdeführerin kommentiert den angefochtenen Entscheid abschnittsweise. Sie legt damit zwar dar, dass sie die Begründung des angefochtenen Urteils zur Kenntnis genommen hat. Sie zeigt indes nicht auf, worin sie eine Verletzung von Bundesrecht sieht, indem sie erklärt, sie sei mit gewissen Erwägungen nicht einverstanden und wiederholt, was sie schon der Vorinstanz vorgetragen hat. Soweit sie sich mit einem Verweis auf ihre Berufung begnügt, ist sie ebenfalls nicht zu hören. Soweit den Ausführungen in der Rechtsschrift nicht wenigstens sinngemäss entnommen werden kann, welche Rechtsregeln die Beschwerdeführerin als verletzt erachtet, ist auf die Beschwerde nicht einzutreten.
2.2. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Dazu gehören sowohl die Feststellungen über den Lebenssachverhalt, der dem Streitgegenstand zugrunde liegt, als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5).
2.2.1. Die Sachverhaltsfeststellung bzw. Beweiswürdigung erweist sich als willkürlich (<ref-law>), wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung der beschwerdeführenden Partei übereinstimmen, belegt keine Willkür (<ref-ruling> E. 2.3 S. 266 mit Hinweisen).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die genannten Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Soweit die Beschwerdeführerin den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.2.2. Die Beschwerdeführerin rügt, die Vorinstanz habe eine Vertragsbestimmung nicht berücksichtigt und den Sachverhalt in Bezug auf Ziffern 7 und 8 der Reservationsvereinbarung falsch festgestellt. Soweit sie damit vorbringen will, sie habe eine tatsächliche Willensübereinstimmung nachgewiesen (vgl. <ref-ruling> E. 5.2.1; <ref-ruling> E. 2.3.2 S. 274; <ref-ruling> E. 2b S. 39) oder sie habe Umstände des Vertragsschlusses behauptet und zum Beweis verstellt, welche von den tatsächlichen Feststellungen der Vorinstanz abweichen oder diese ergänzen, begründet sie nicht, inwiefern die Vorinstanz in Willkür verfallen sein soll oder Recht verletzte, wenn sie die Vorbringen nicht berücksichtigte. Es ist den Ausführungen der Beschwerde auch nicht zu entnehmen, inwiefern sich die von ihr relevierten Umstände auf das Ergebnis hätten auswirken können (<ref-law>). Es ist darauf nicht einzutreten.
Die Beschwerdeführerin kritisiert zudem in Bezug auf den von ihr behaupteten offensichtlichen Rechtsmissbrauch den Schluss der Vorinstanz, dass der Rücktritt des Beschwerdegegners nicht völlig unvermittelt erfolgt sei. Sie stellt den Ablauf der Ereignisse aus ihrer Sicht dar. Dass die Sachverhaltsfeststellung der Vorinstanz dem Willkürverbot widerspreche, behauptet sie nicht einmal. Ihren Ausführungen ist denn auch nicht zu entnehmen, inwiefern die Vorinstanz mit ihrer Beweiswürdigung in Willkür verfallen sein sollte oder anderweitig Bundesrecht verletzt haben könnte. Es kann darauf nicht eingetreten werden.
3.
Nach <ref-law> bedürfen Kaufverträge, die ein Grundstück zum Gegenstand haben, zu ihrer Gültigkeit der öffentlichen Beurkundung. Auch Vorverträge sowie Verträge, die ein Vorkaufs-, Kaufs- oder Rückkaufsrecht an einem Grundstück begründen, sind öffentlich zu beurkunden (Art. 22 Abs. 2 und Art. 216 Abs. 2 OR). Bei Missachtung der Formvorschrift ist der Vertrag nichtig im Sinne von <ref-law>.
3.1. Unter den Formzwang fallen u.a. auch mit dem Vorvertrag verbundene Konventionalstrafen, die Leistungspflichten bekräftigen sollen, deren Eingehung die Einhaltung der Formvorschriften erfordern würde (<ref-ruling> E. 5.3; Urteile 4A_281/2014 vom 17. Dezember 2014 E. 3.2; 4C.271/2003 vom 17. Februar 2004 E. 2, ZBGR 86/2005 S. 109; 4C.429/1996 vom 28. April 1997 E. 3b, Rep 1997 S. 59). Hingegen sind Vereinbarungen über Konventionalstrafen bzw. Pauschalvergütungen formlos gültig, wenn sie einzig den Zweck haben, das sogenannte negative Interesse abzugelten, wie beispielsweise Planungsaufwand zu ersetzen, den eine Partei im Vertrauen auf den künftigen Vertragsabschluss gemacht hat (<ref-ruling> E. 5.3 und 5.5 mit Hinweisen; Urteile 4A_573/2016 vom 19. September 2017 E. 6.1.1; 4A_281/2014 vom 17. Dezember 2014 E. 3.2 je mit Hinweisen).
3.2. Die Vorinstanz hat als entscheidend erachtet, welchen Zweck die Parteien den Ziffern 7 und 8 der Reservationsvereinbarung zugemessen haben. Sie stellt fest, dass die geleistete Anzahlung gemäss dem Wortlaut dieser Klauseln der Beschwerdeführerin als Entschädigung für erbrachte Arbeiten verbleibt, soweit der Beschwerdegegner vom Reservationsvertrag zurücktreten will und die Realisierung der Baute nicht aus Gründen, die von der Beschwerdeführerin oder den Behörden zu verantworten sind, unmöglich geworden ist. Die Vorinstanz kommt zum Schluss, dass die Zusatzabreden (und deren Anrechnung an den Kaufpreis sowie deren Verfall bei Rücktritt) mit dem Vorvertrag eine Einheit bilden, da der Beschwerdegegner die Anzahlung ohne die vorvertragliche Verpflichtung nicht geleistet hätte. Da die Anzahlung verfallen soll, wenn der Beschwerdegegner aus andern Gründen (z.B. wegen Verzug der Beschwerdeführerin) unverschuldet vom Vorvertrag zurücktritt, geht sie nach den Erwägungen im angefochtenen Entscheid über die vorvertragliche Haftung aus culpa in contrahendo hinaus, was sich verstärkend auf die Einhaltung des Vorvertrags auswirke. Die Vorinstanz betrachtete daher die Regelung über den Verfall der Anzahlung als (form-) nichtig, auch wenn in Ziffer 8 durchwegs Positionen des negativen Interesses als entschädigungspflichtig erwähnt werden.
3.3. Die Vorinstanz hat mit dieser Auslegung das Vertrauensprinzip nicht verletzt, das vom Bundesgericht als Rechtsfrage überprüft wird <ref-ruling> E. 3.3; <ref-ruling> E. 4.2.1; <ref-ruling> E. 2.2.1). Sie konnte entgegen der Ansicht der Beschwerdeführerin berücksichtigen, dass die Anzahlung ausdrücklich an den Preis des Kaufpreises für das Grundstück - nicht an den Werkpreis - anzurechnen war und dass deren Verfall an die Beschwerdeführerin bei Rücktritt des Beschwerdegegners unabhängig von den Gründen des Rücktritts und insbesondere auch für Fälle vereinbart wurde, welche über die culpa in contrahendo hinausgehen. Die Vorinstanz hat ohne Rechtsverletzung geschlossen, dass sich die Beschwerdeführerin nicht auf Art. 8 der Reservationsvereinbarung berufen kann, um ohne Nachweis der Haftungsvoraussetzungen und eines konkreten Schadens den Ersatz ihrer nutzlos gewordenen Aufwendungen zu fordern.
4.
4.1. Die Vorinstanz hat im Übrigen aufgrund des von ihr verbindlich festgestellten Sachverhalts ein rechtsmissbräuchliches Verhalten des Beschwerdegegners im Sinne von <ref-law> zutreffend verneint. Der Vorvertrag ist entgegen der Ansicht der Beschwerdeführerin nicht zumindest in der Hauptsache erfüllt (vgl. zu diesem Kriterium <ref-ruling> E. 4.2; <ref-ruling> E. 3b; Urteil 4A_573/2016 vom 19. September 2017 E. 5.2). Denn erfüllt wird er mit dem Abschluss des Hauptvertrags, der nicht zustandegekommen ist. Die geleistete Anzahlung ist lediglich eine Teilerfüllung (vgl. Urteil 4C.271/2003 vom 17. Februar 2004 E. 2.1).
4.2. Die Vorinstanz hat auch zutreffend erkannt, dass die Anzahlung vom Beschwerdegegner mit Blick auf ein Grundstückgeschäft geleistet wurde, das in der Folge nicht zustande gekommen ist. Insoweit die Beschwerdeführerin bezüglich des in der Folge bejahten Rückzahlungsanspruchs seitens des Beschwerdegegners eine Bundesrechtsverletzung sieht, verkennt sie, dass die Rückleistung aus nicht verwirklichtem Grund ( causa non secuta) - im Gegensatz zur freiwilligen Zahlung einer Nichtschuld nach <ref-law> - nicht davon abhängig ist, dass irrtümlich geleistet wurde (<ref-law>; <ref-ruling> E. 4.4.5; <ref-ruling> E. 2a S. 22; vgl. auch Urteil 4A_425/2013 vom 6. Januar 2014 E. 3.1). Inwiefern in diesem Zusammenhang die Voraussetzungen von <ref-law> (Verhinderung des Eintritts einer Bedingung) gegeben sein sollten, wird in der Beschwerde nicht begründet und ist auch nicht ersichtlich.
4.3. Die Vorinstanz hat schliesslich den Verrechnungsanspruch der Beschwerdeführerin gestützt auf ein behauptetes weiteres selbständiges Vertragsverhältnis sowie die culpa in contrahendo nicht nur mit der Begründung verneint, dass der Beschwerdegegner auf den Vertragsschluss nicht überraschend verzichtet habe, sondern auch mangels Nachweis des Schadens. Die Beschwerdeführerin behauptet selbst nicht, dass sie ihren Schaden im Einzelnen substanziiert hat, sondern macht einzig geltend, die Vorinstanz habe verkannt, sie von der Obliegenheit des Schadensnachweises zu befreien. Doch kann der Vorinstanz entgegen der Behauptung der Beschwerdeführerin keine Verletzung von Bundesrecht vorgeworfen werden, wenn sie den Schadensnachweis weder durch allgemeine Lebenserfahrung noch durch Auslegung von Ziffer 8 der Reservationsvereinbarung ersetzte. In dem von der Beschwerdeführerin in diesem Zusammenhang angerufenen <ref-ruling> wurde eine SIA-Bestimmung, die einer Konventionalstrafe gleichkommt, mit dem jederzeitigen Widerrufsrecht (<ref-law>) vereinbar beurteilt, falls einem Architekten der Auftrag zur Unzeit widerrufen wird. Denn dieser erleide einen die Pauschalierung rechtfertigenden nur schwer konkretisierbaren Schaden, der auf längerfristigen Dispositionen beruhe, worin er sich von der Tätigkeit des Arztes und Anwalts unterscheide (E. 3). Nachdem sich die Vereinbarung zur Anzahlung als nichtig erwiesen hat, ist der Argumentation der Beschwerdeführerin mangels Pflicht des Beschwerdegegners, eine Konventionalstrafe bzw. Pauschalvergütung zu leisten (vgl. vorstehend E. 3), der Boden entzogen.
5.
Die Beschwerde ist unbegründet und damit abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang sind die Gerichtskosten der Beschwerdeführerin zu auferlegen (<ref-law>). Sie hat dem Beschwerdegegner dessen Parteikosten für das Verfahren vor Bundesgericht zu ersetzen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'500.-- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat dem Beschwerdegegner dessen Parteikosten für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu ersetzen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 8. November 2018
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Hug