Sachverhalt:
A.
A.a. A._ (Kläger, Beschwerdeführer) ist Gründungsmitglied, Hauptaktionär und Präsident des Verwaltungsrats der am 27. Juni 2007 im Handelsregister des Kantons Zug eingetragenen C._ AG.
Am 12. Juni 2008 wurde B._ (Beklagter, Beschwerdegegner) als weiteres Mitglied des Verwaltungsrats der C._ AG eingetragen.
A.b. Am 16. November 2009 und am 10. Dezember 2009 schlossen A._ als Darlehensnehmer und B._ als Darlehensgeber zwei Darlehensverträge über EUR 80'000.-- und EUR 135'000.-- ab. Beide Darlehen waren bis Ende März 2010 zurückzuzahlen.
B._ betrieb A._ in der Folge mit Zahlungsbefehl Nr. xxx des Betreibungsamts Höfe vom 28. Mai 2010 aufgrund der beiden Darlehensverträge für eine Forderung von Fr. 311'750.-- nebst Kosten des Zahlungsbefehls.
Mit Verfügung vom 8. November 2010 erteilte der Einzelrichter des Bezirks Höfe die provisorische Rechtsöffnung für eine Forderung von Fr. 276'812.50.
B.
B.a. Am 31. Januar 2011 erhob A._ beim Bezirksgericht Höfe Aberkennungsklage gegen B._ mit dem Antrag, es sei festzustellen, dass die Forderung von EUR 215'000.-- bzw. Fr. 276'812.50, für die provisorische Rechtsöffnung erteilt wurde, nicht bestehe. Der Kläger bestritt die Rückzahlungsverpflichtung nicht, machte jedoch geltend, die Forderung des Beklagten sei zufolge Verrechnung mit verschiedenen Gegenforderungen untergegangen.
Mit Urteil vom 18. Juni 2012 hiess das Bezirksgericht Höfe die Aberkennungsklage im Umfang von Fr. 1'287.50 gut und wies die Klage im Übrigen ab.
B.b. Mit Urteil vom 8. April 2014 wies das Kantonsgericht Schwyz eine vom Kläger gegen den bezirksgerichtlichen Entscheid vom 18. Juni 2012 erhobene Berufung ab und bestätigte den erstinstanzlichen Entscheid.
Das Kantonsgericht erachtete die vom Kläger verrechnungsweise geltend gemachten Gegenforderungen als unbegründet.
C.
Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht, es sei das Urteil des Kantonsgerichts Schwyz vom 8. April 2014 aufzuheben und es sei festzustellen, dass die Forderung von EUR 215'000 bzw. Fr. 276'812.50 nicht besteht. Eventualiter sei das angefochtene Urteil aufzuheben und die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Der Beschwerdegegner beantragt die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.
D.
Mit Verfügung vom 4. August 2014 erteilte das Bundesgericht der Beschwerde die aufschiebende Wirkung.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 1 S. 133 mit Hinweisen).
1.1. Angefochten ist ein Endentscheid einer letzten kantonalen Instanz (Art. 75 Abs. 1 und Art. 90 BGG). Dagegen steht die Beschwerde in Zivilsachen offen. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 2 und <ref-law>) - auf die Beschwerde in Zivilsachen einzutreten.
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht des Beschwerdeführers (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 1.3; <ref-ruling> E. 1.4). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 sowie <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>), was in der Beschwerde näher darzulegen ist (<ref-ruling> E. 3 S. 395).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Ausserdem hat der Beschwerdeführer mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen genannt hat. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (<ref-ruling> E. 2 S. 90; <ref-ruling> E. 1.4.3 S. 255).
1.4. Die Beschwerde lässt teilweise keine Auseinandersetzung mit den konkreten Erwägungen im angefochtenen Entscheid erkennen; vielmehr unterbreitet der Beschwerdeführer dem Bundesgericht mitunter losgelöst vom Urteil der Vorinstanz seinen Standpunkt, wonach ihm verrechenbare Gegenforderungen zustünden und die Klage gutzuheissen sei, als ob das Bundesgericht die Streitsache von Grund auf neu beurteilen könnte. Damit verfehlt er die erwähnten Anforderungen an eine hinreichend begründete Beschwerde.
Soweit der Beschwerdeführer seine Rügen auf einen Sachverhalt stützt, der von den verbindlichen Feststellungen der Vorinstanz abweicht, ist er nicht zu hören. Da die Beschwerdeschrift in unzulässiger Weise tatsächliche und rechtliche Vorbringen vermengt, ist auf seine Vorbringen nur insoweit einzugehen, als daraus wenigstens sinngemäss erkennbar ist, welche Bundesrechtssätze und inwiefern sie durch den angefochtenen Entscheid der Vorinstanz verletzt sein sollen, wenn die verbindlichen Feststellungen im angefochtenen Entscheid zugrunde gelegt werden (<ref-law>).
2.
Der Beschwerdeführer bringt vor, die Vorinstanz hätte bei korrekter Auslegung des Darlehensvertrags vom 31. Dezember 2008 zwischen dem Beschwerdegegner und der C._ AG nach dem Vertrauensprinzip zum Schluss kommen müssen, dass dem Beschwerdeführer noch eine Forderung in der Höhe von Fr. 100'000.-- aus dem Aktionärbindungsvertrag vom 25. Juni 2008 zustehe.
2.1. Nach den Sachverhaltsfeststellungen im angefochtenen Entscheid unterzeichneten der Beschwerdeführer und der Beschwerdegegner am 25. Juni 2008 eine als "Individual Shareholder Agreement" bezeichnete Vereinbarung. Danach sollte der Beschwerdegegner insgesamt 5'000 Aktien (entsprechend 10 % des Aktienkapitals) erwerben; im Gegenzug hatte er der C._ AG oder dem Gründer, d.h. dem Beschwerdeführer, ein Darlehen von EUR 1 Mio. zu gewähren.
Am 31. Dezember 2008 schlossen die C._ AG als Darlehensnehmerin und der Beschwerdegegner als Darlehensgeber einen Darlehensvertrag ab, mit dem der C._ AG ein unverzinsliches Darlehen von Fr. 1.5 Mio. gewährt wurde. Im Vertrag wird unter anderem festgehalten, dass die Darlehensnehmerin mit ihrer Unterschrift den Erhalt des Darlehensbetrags in zwei Tranchen am 26. Juni 2008 (Fr. 1 Mio.) und am 18. Dezember 2008 (Fr. 0.5 Mio.) bestätigt.
Die Vorinstanz erachtete die Behauptung des Beschwerdeführers als nicht erwiesen, es sei mündlich vereinbart worden, dass die Zahlung des im Individual Shareholder Agreement erwähnten Darlehensbetrags von EUR 1 Mio. zu einem Wechselkurs von Fr. 1.60 pro EUR zu erfolgen habe, womit insgesamt Fr. 1.6 Mio. als Darlehen zu entrichten gewesen wären und daher ein Teilbetrag von Fr. 100'000.-- offen geblieben sei. Das Gericht ging vielmehr davon aus, dass die Parteien die im Individual Shareholder Agreement begründete Verpflichtung zur Gewährung eines Darlehens von EUR 1 Mio. mit Abschluss des Darlehensvertrags vom 31. Dezember 2008 und Auszahlung des darin festgehaltenen Betrags von Fr. 1.5 Mio. als erfüllt ansahen. Die C._ AG habe schriftlich bestätigt, das Darlehen über Fr. 1.5 Mio. in zwei Tranchen erhalten zu haben. Die Vorinstanz hielt zudem insbesondere fest, der geschäftserfahrene Beschwerdeführer hätte als Vertreter der C._ AG beim Abschluss des Darlehensvertrags vom 31. Dezember 2008 auf einen entsprechenden Vorbehalt im Vertragstext bestanden, wäre er nach Berücksichtigung des Vertragsschlusses tatsächlich von einem noch offenen Betrag von Fr. 100'000.-- ausgegangen. Dies sei jedoch nicht geschehen, vielmehr habe er sich bzw. habe sich die von ihm vertretene C._ AG mit der Zahlung von Fr. 1.5 Mio. zufrieden gegeben.
2.2.
2.2.1. Der Inhalt eines Vertrags bestimmt sich in erster Linie nach dem übereinstimmenden wirklichen Parteiwillen (vgl. <ref-law>). Diese subjektive Vertragsauslegung beruht auf Beweiswürdigung, die vorbehältlich der Ausnahmen von Art. 97 und Art. 105 BGG der bundesgerichtlichen Überprüfung entzogen ist. Steht eine tatsächliche Willensübereinstimmung fest, bleibt für eine Auslegung nach dem Vertrauensgrundsatz kein Raum. Erst wenn eine tatsächliche Willensübereinstimmung unbewiesen bleibt, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten (<ref-ruling> E. 4.2.1; <ref-ruling> E. 3.1; je mit Hinweisen). Dabei ist der Zeitpunkt des Vertragsschlusses massgebend, weshalb bei der Auslegung nach dem Vertrauensprinzip nachträgliches Parteiverhalten nicht von Bedeutung ist (BGE <ref-ruling> E. 3.1; <ref-ruling> E. 2.3 S. 680).
2.2.2. Der Beschwerdeführer verkennt mit seinen Vorbringen, dass es sich bei den erwähnen Ausführungen der Vorinstanz nicht um eine normative, sondern um eine subjektive Vertragsauslegung handelt. Die Vorinstanz hat auf einen tatsächlichen übereinstimmenden Willen der Parteien im Zeitpunkt des Abschlusses des Darlehensvertrags vom 31. Dezember 2008 geschlossen, damit die Verpflichtungen aus dem Individual Shareholder Agreement vom 25. Juni 2008 hinsichtlich der Darlehensgewährung zu erfüllen. Bezeichnenderweise beruft sich der Beschwerdeführer, indem er das von ihm verfasste E-Mail vom 13. August 2009 ins Feld führt, selber auf nachträgliches Parteiverhalten, das allenfalls - im Rahmen der Beweiswürdigung - auf einen tatsächlichen Willen der Parteien schliessen lässt, bei der Vertragsauslegung nach dem Vertrauensprinzip hingegen ausser Betracht fällt. Mit seinen appellatorischen Vorbringen erhebt der Beschwerdeführer keine hinreichende Sachverhaltsrüge.
Selbst wenn von einer normativen Vertragsauslegung auszugehen wäre, vermag der Beschwerdeführer keine Bundesrechtsverletzung aufzuzeigen. Die Parteien (der Beschwerdeführer als Vertreter der C._ AG) vereinbarten im Nachgang des Individual Shareholder Agreement trotz des darin erwähnten Betrags von EUR 1 Mio. eine Darlehensgewährung in Landeswährung über Fr. 1.5 Mio. Hinweise darauf, dass statt eines Vertrags verschiedene Darlehensverträge abgeschlossen werden sollten, bis der genaue Gegenwert von EUR 1 Mio. erreicht worden wäre, sind aus objektiver Betrachtung nicht erkennbar. Nach Treu und Glauben wäre vielmehr anzunehmen, dass mit dem Abschluss des Darlehensvertrags vom 31. Dezember 2008, der keinerlei Vorbehalte hinsichtlich offener Beträge oder weiterer Darlehen enthält, die Verpflichtung aus dem Individual Shareholder Agreement - im Ergebnis unter Anwendung eines Wechselkurses von Fr. 1.50 pro EUR - vollständig erfüllt werden sollte.
Die Vorinstanz hat den vom Beschwerdeführer geltend gemachten Erfüllungsanspruch aus dem Individual Shareholder Agreement vom 25. Juni 2008 über Fr. 100'000.-- daher zu Recht verneint. Eine Verrechnung (<ref-law>) fällt daher von vornherein ausser Betracht.
3.
Der Beschwerdeführer wirft der Vorinstanz eine Verletzung des rechtlichen Gehörs (<ref-law>) und des Rechts auf Beweis (<ref-law>) vor.
3.1. Er stützte sich im kantonalen Verfahren auf eine weitere angeblich verrechenbare Gegenforderung, die er in der Nichteinhaltung einer vertraglichen Finanzierungszusage des Beschwerdegegners begründet sah. Die Vorinstanz erachtete es in Würdigung verschiedener Unterlagen (E-Mails, Berichte des Verwaltungsrats, Budgetaufstellungen) als nicht erwiesen, dass der Beschwerdegegner mündlich eine solche Finanzierungszusage über Fr. 1'435'000.-- abgegeben haben soll. Entsprechend verneinte sie einen vertraglichen Schadenersatzanspruch, den der Beschwerdeführer den Rückzahlungsforderungen des Beschwerdegegners verrechnungsweise hätte entgegenhalten können.
3.2. Der Beschwerdeführer bringt vor Bundesgericht vor, die mündliche Finanzierungszusage lasse sich nur aufgrund von Indizien und Zeugenaussagen belegen. Da es zu diesem Punkt nur wenige schriftliche Indizien gebe, komme der Aussage von unabhängigen Zeugen eine zentrale Bedeutung zu. Im Umstand, dass im gesamten bisherigen Verfahren auf die Einvernahme von Zeugen verzichtet worden sei, liege eine Verletzung des Gehörsanspruchs.
Er führt zunächst lediglich unter Hinweis auf seine Klageschrift sowie seine Replik im erstinstanzlichen Verfahren aus, er habe dem Bezirksgericht verschiedene Zeugen angeboten, welche die Finanzierungszusage hätten bestätigen können. Dass er im Berufungsverfahren die Einvernahme bestimmter Zeugen beantragt hätte, zeigt er hingegen nicht mit Aktenhinweisen auf. Damit legt der Beschwerdeführer nicht dar, inwiefern die Vorinstanz mit ihrem Entscheid das Recht auf Beweis (<ref-law>) oder das rechtliche Gehör (<ref-law>) verletzt hätte.
Insbesondere lässt er die vorinstanzliche Erwägung unerwähnt, wonach er nicht geltend mache, die Erstinstanz habe zu Unrecht auf die Befragung der angebotenen Zeugen verzichtet; aufgrund der fehlenden konkreten Rüge erübrigten sich weitere Ausführungen. Inwiefern die Vorinstanz mit dieser entscheidtragenden Begründung Bundesrecht verletzt hätte, zeigt der Beschwerdeführer nicht auf. Es braucht daher auf die in der Beschwerdeschrift erhobenen Rügen gegen die Eventualbegründung der Vorinstanz nicht eingegangen zu werden, wonach eine Zeugenbefragung in diesem Zusammenhang angesichts der Aktenlage mit überwiegender Wahrscheinlichkeit ohnehin nicht zu neuen Erkenntnissen geführt hätte und die Erstinstanz insofern zu Recht eine antizipierte Beweiswürdigung getroffen habe (vgl. <ref-ruling> E. 6.3).
3.3. Damit bleibt es bei der vorinstanzlichen Feststellung, dass eine (mündliche) Finanzierungszusage des Beschwerdegegners über Fr. 1'435'000.-- nicht erwiesen ist. Ein vertraglicher Schadenersatzanspruch des Beschwerdeführers gestützt auf eine angebliche Verletzung einer solchen Zusage fällt daher ausser Betracht. Entgegen der in der Beschwerde vertretenen Ansicht hat die Vorinstanz in der Folge zu Recht auf eine Prüfung der weiteren Voraussetzungen eines solchen Anspruchs verzichtet; eine Gehörsverletzung liegt auch in dieser Hinsicht nicht vor.
4.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 6. Oktober 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Leemann