Sachverhalt:
A.
Am 25. März 2011 schloss A._ als Bauherr (Beklagter, Beschwerdeführer) mit B._ als Unternehmer (Kläger, Beschwerdegegner) einen Werkvertrag über Baumeisterarbeiten am geplanten Einfamilienhaus des Beklagten ab. Der Kläger führte die Hauptarbeiten im Mai bis Juli 2011 aus, während der Beklagte in diesem Zeitraum Akontozahlungen leistete. Nach Zustellung der Schlussrechnungen vom 8. und 10. November 2011 mahnte der Kläger den Beklagten mit Schreiben vom 24. Januar 2012 zur Bezahlung des noch ausstehenden Restbetrags von zunächst Fr. 29'272.10, reduzierte die Forderung jedoch mit Schreiben vom 14. April 2012 auf Fr. 28'272.10.
B.
Mit Klage vom 30. April 2013 erhob der Kläger am Bezirksgericht Schwyz Klage gegen den Beklagten und beantragte, dieser sei zu verpflichten, ihm Fr. 27'172.95 nebst Zins zu 5 % seit dem 10. Februar 2012 zu bezahlen. Mit Klageantwort erhob der Beklagte Widerklage und beantragte, der Kläger sei zu verpflichten, dem Beklagten die zu viel eingeforderten Zahlungen im Betrag von Fr. 11'000.-- zurück zu zahlen. Mit Urteil vom 23. November 2015 hiess die Einzelrichterin des Bezirksgerichts die Klage teilweise gut und verpflichtete den Beklagten, dem Kläger einen Betrag von Fr. 20'211.65 nebst Zins zu 5 % seit 10. Februar 2012 zu bezahlen; im Mehrbetrag wies sie die Klage ab. Ebenso wies die Richterin die Widerklage ab.
Dagegen erhob der Beklagte Berufung an das Kantonsgericht Schwyz. Dieses kam zum Schluss, dass dem Kläger eine Restforderung von Fr. 13'068.65 zuzüglich Zins zustehe. Dementsprechend hiess das Kantonsgericht die Berufung des Beklagten teilweise gut, hob den erstinstanzlichen Entscheid insoweit auf und verpflichtete den Beklagten, dem Kläger einen Betrag von Fr. 13'068.65 nebst Zins zu 5 % seit 10. Februar 2012 zu bezahlen und verteilte die Kosten- und Entschädigungsfolgen des erstinstanzlichen Verfahrens aufgrund des Verfahrensausgangs neu. Im Weiteren wies es die Berufung ab, soweit es darauf eintrat, und bestätigte das erstinstanzliche Urteil.
C.
Dagegen erhob der Beschwerdeführer Beschwerde in Zivilsachen und eventualiter subsidiäre Verfassungsbeschwerde. Er beantragt, das Urteil des Kantonsgerichts sei aufzuheben, die Klage sei vollumfänglich abzuweisen und die Widerklage sei gutzuheissen. Eventualiter sei die Sache an die Vorinstanz zur Neubeurteilung zurückzuweisen.
Der Beschwerdegegner beantragt, auf die Beschwerde [in Zivilsachen], die subsidiäre Verfassungsbeschwerde und die Widerklage sei nicht einzutreten, eventuell seien sie abzuweisen. Die Vorinstanz verzichtete auf eine Vernehmlassung.
Die Parteien reichten Replik und Duplik ein.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 2.1 mit Hinweisen).
1.1. In vermögensrechtlichen Angelegenheiten, wie hier eine vorliegt, ist die Beschwerde in Zivilsachen grundsätzlich nur zulässig, wenn der Streitwert mindestens Fr. 30'000.-- beträgt (<ref-law>). Der Streitwert bemisst sich bei einem Endentscheid nach den Begehren, die vor der Vorinstanz streitig geblieben waren (<ref-law>). Nach <ref-law> wird der Betrag einer Widerklage nicht mit demjenigen der Hauptklage zusammengerechnet.
Die Erstinstanz verpflichtete den Beschwerdeführer, dem Beschwerdegegner einen Betrag von Fr. 20'211.65 nebst Zins zu bezahlen und wies die Widerklage des Beschwerdeführers über den Betrag von Fr. 11'000.-- vollständig ab. Dagegen erhob der Beschwerdeführer Berufung an die Vorinstanz und beantragte, dass das erstinstanzliche Urteil aufzuheben, die Klage vollumfänglich abzuweisen und die Widerklage gutzuheissen sei.
Streitig waren vor der Vorinstanz damit die Hauptklage über einen Betrag von Fr. 20'211.65 und die Widerklage über einen Betrag von Fr. 11'000.--. Da für die Streitwertberechnung die Streitwerte von Haupt- und Widerklage nach dem Gesagten nicht zusammengerechnet werden, wies die Vorinstanz den Streitwert zu Recht mit Fr. 20'211.65 aus. Daran ändert nichts, dass der Beschwerdeführer die Norm von <ref-law> als "nicht sachgerecht" betrachtet. Nur der vollständigkeitshalber sei schliesslich erwähnt, dass <ref-law> nicht zur Anwendung kommt, da weder die Haupt- noch die Widerklage den Streitwert von Fr. 30'000.-- erreicht.
Die Beschwerde erreicht damit den massgebenden Streitwert von Fr. 30'000.-- für die Beschwerde in Zivilsachen nicht.
1.2. Erreicht der Streitwert den massgebenden Betrag für die Beschwerde in Zivilsachen nicht, ist sie dennoch zulässig, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (<ref-law>).
Der Begriff der Rechtsfrage von grundsätzlicher Bedeutung im Sinne von <ref-law> ist sehr restriktiv auszulegen (<ref-ruling> E. 1.2). Soweit es bei der aufgeworfenen Frage lediglich um die Anwendung von Grundsätzen der Rechtsprechung auf einen konkreten Fall geht, handelt es sich nicht um eine Rechtsfrage von grundsätzlicher Bedeutung (<ref-ruling> E. 1.3 S. 4 mit Hinweisen). Die Voraussetzung von <ref-law> ist hingegen erfüllt, wenn ein allgemeines und dringendes Interesse besteht, dass eine umstrittene Frage höchstrichterlich geklärt wird, um eine einheitliche Anwendung und Auslegung des Bundesrechts herbeizuführen und damit eine erhebliche Rechtsunsicherheit auszuräumen (<ref-ruling> E. 1.3 mit Hinweisen). Es ist erforderlich, dass die Frage von allgemeiner Tragweite ist (<ref-ruling> E. 1.2). Ist eine Beschwerde nur unter der Voraussetzung zulässig, dass sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt, ist in der Beschwerdeschrift auszuführen, warum diese Voraussetzung erfüllt ist (<ref-law>), ansonsten die Beschwerde in Zivilsachen unzulässig ist (<ref-ruling> E. 2.6).
1.3. Der Beschwerdeführer argumentiert, dass es im vorliegenden Verfahren um die Waffengleichheit im Zivilverfahren gehe, die von der Erstinstanz in schwerer Weise missachtet worden sei. Sodann habe die Beschwerde die Auslegung eines Werkvertrags zum Gegenstand, der durch zahlreiche Änderungen zwischen den Parteien während den Vertragsverhandlungen und der Ausführung des Bauvorhabens geprägt sei. Das angefochtene Urteil würde sich fälschlicherweise darauf abstützen, dass der Leistungsbeschrieb für die vorzunehmenden Baumeisterarbeiten nicht zu den vertraglichen Vereinbarungen des Werkvertrages gehöre. Es bestehe ein allgemeines Interesse, dass diese umstrittene Frage höchstrichterlich geklärt werde, um eine einheitliche Anwendung und Auslegung des Bundesrechts herbeizuführen und damit Rechtssicherheit herzustellen. Eine Klärung dieser Frage würde sich umso mehr rechtfertigen, als der Beschwerdeführer nicht anwaltlich vertreten gewesen sei. Aus diesem Grund sei die Wahrscheinlichkeit, dass die entsprechende Frage je dem Bundesgericht unterbreitet werden könne, in derartigen Fällen äusserst gering.
1.4. Inwiefern sich bezüglich der Auslegung des Werkvertrags nach <ref-law> oder dem Grundsatz der Waffengleichheit eine Rechtsfrage von grundsätzlicher Bedeutung stellen würde, legt der Beschwerdeführer mit seinen Ausführungen nicht hinreichend dar und ist auch nicht ersichtlich. Vielmehr geht es in der vorliegenden Streitsache einzig um die Rechtsanwendung auf den konkreten Einzelfall. Ebensowenig stellt sich eine Rechtsfrage von grundsätzlicher Bedeutung, bloss weil der Beschwerdeführer vor der Erstinstanz nicht anwaltlich vertreten war.
1.5. Da der notwendige Streitwert nicht erreicht wird und sich auch keine Rechtsfrage von grundsätzlicher Bedeutung stellt, steht die Beschwerde in Zivilsachen nicht offen. Demnach ist die Beschwerde als subsidiäre Verfassungsbeschwerde zu behandeln (<ref-law>).
2.
2.1. Mit subsidiärer Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Die beschwerdeführende Partei muss angeben, welches verfassungsmässige Recht verletzt wurde, und substanziiert darlegen, worin die Verletzung besteht (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 1.4; <ref-ruling> E. 1.6). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von verfassungsmässigen Rechten liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als verfassungswidrig erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.2).
Macht die beschwerdeführende Partei eine Verletzung des Willkürverbots von <ref-law> geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich (<ref-ruling> E. 3 S. 352; <ref-ruling> E. 5.5). Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.1; <ref-ruling> E. 3.2.5 S. 339). Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung der beschwerdeführenden Partei übereinstimmen, belegt keine Willkür (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Erforderlich ist zudem, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 2.1 S. 19 mit Hinweisen).
Soweit der Beschwerdeführer eine Verletzung von <ref-law>, <ref-law> und <ref-law> rügt, kann darauf von vornherein nicht eingetreten werden, denn es handelt sich dabei nicht um verfassungsmässige Rechte.
Sodann verkennt der Beschwerdeführer die oben genannten Anforderungen an eine Willkürrüge: Er kritisiert vor Bundesgericht die Auslegung des Werkvertrags vom 25. März 2011 durch die Vorinstanz. Er behauptet dabei aber bloss, dass der Auffassung der Vorinstanz nicht gefolgt werden könne, schildert seine eigene Rechtsauffassung und erklärt, dass die damit nicht übereinstimmende Auffassung der Vorinstanz willkürlich sei. In der gleichen Weise kritisiert er sodann die Vorinstanz bezüglich der vom Beschwerdegegner angeblich nicht erbrachten Leistungen bzw. weiteren "Abzügen" vom Werkpreis und der dem Beschwerdegegner zugesprochenen Parteientschädigung. Damit erhebt der Beschwerdeführer keine rechtsgenügliche Willkürrüge, denn er zeigt nicht hinreichend auf, inwiefern der vorinstanzliche Entscheid offensichtlich unhaltbar im oben genannten Sinne wäre, also insbesondere inwiefern der Entscheid nicht nur in der Begründung sondern auch im Ergebnis willkürlich wäre. Darauf ist nicht einzutreten.
Ebenso kann auf die Beschwerde nicht eingetreten werden, wenn der Beschwerdeführer lediglich undifferenziert behauptet, dass die von ihm "offerierten Beweise" in willkürlicher Weise nicht abgenommen worden seien, ohne dabei hinreichend zu spezifizieren, welche von ihm offerierten Beweismittel nicht abgenommen worden wären, geschweige denn darzulegen, inwiefern er den Beweisantrag im kantonalen Verfahren form- und fristgerecht gestellt hätte.
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie unter Verletzung eines verfassungsmässigen Rechts zustande kam (Art. 118 Abs. 2 und <ref-law>). Wird Letzteres geltend gemacht, ist neben der Erheblichkeit der gerügten Tatsachenfeststellung für den Ausgang des Verfahrens klar und detailliert darzutun, inwiefern diese verfassungswidrig, insbesondere willkürlich, sein soll (<ref-ruling> E. 2.2 S. 334; <ref-ruling> E. 7.1 S. 398).
Wird eine verfassungswidrige Nichtberücksichtigung von behaupteten, im angefochtenen Entscheid aber nicht festgestellten Tatsachen geltend gemacht, ist mit Aktenhinweisen darzulegen, dass diese rechtsrelevanten Tatsachen und tauglichen Beweismittel bereits bei der Vorinstanz prozessrechtskonform eingebracht wurden, indessen von jener unter Verletzung eines verfassungsmässigen Rechts unberücksichtigt gelassen worden seien. Ansonsten gelten sie als neu und sind daher unzulässig. Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
Diese Grundsätze verkennt der Beschwerdeführer, wenn er sich auf tatsächliche Elemente aus dem erstinstanzlichen Protokoll der Hauptverhandlung, den "vorinstanzlichen Akten", dem von der Erstinstanz eingeholten Gutachten oder den Rapporten bzw. Schlussabrechnungen des Beschwerdegegners beruft, die sich nicht aus dem angefochtenen Entscheid ergeben, ohne dabei hinreichende Sachverhaltsrügen nach den oben erwähnten Grundsätzen zu erheben. Darauf kann nicht abgestellt werden.
Ebensowenig kann der Beschwerdeführer gehört werden, wenn er sich auf die von ihm angeblich gemachte Behauptung beruft, dass das Leistungsverzeichnis "massgeblich [sei] für die Frage, mit welchem Material gebaut werden müsse". Er weist das Bundesgericht zwar auf die Stelle hin, wo er solches vor der Erstinstanz vorgebracht habe. Er zeigt jedoch nicht mit präzisen Aktenhinweisen auf, dass er dies prozessrechtskonform auch im vorinstanzlichen Verfahren geltend gemacht hätte. Damit genügt er den strengen Anforderungen an Sachverhaltsrügen nicht (vgl. Erwägung 2.2).
3.
3.1. Der Beschwerdeführer kritisiert sodann ausführlich das Urteil des Bezirksgerichts Schwyz. Er wirft der Erstinstanz eine Verletzung des Grundsatzes der Fairness und Waffengleichheit nach <ref-law> und Art. 6 Ziff. 1 EMRK sowie des Willkürverbots nach <ref-law> vor. Sodann habe die Erstinstanz "überspitzt formalistisch" gehandelt. Darauf kann von vornherein nicht eingetreten werden, denn die subsidiäre Verfassungsbeschwerde ist nur gegen Entscheide letzter kantonaler Instanzen zulässig (<ref-law>).
Anschliessend an die Kritik der Erstinstanz wirft der Beschwerdeführer der Vorinstanz pauschal vor, dass auch diese "die richterliche Fragepflicht nicht gerügt", <ref-law> bzw. den Grundsatz auf ein faires Verfahren missachtet habe oder die "willkürliche Rechtsanwendung" durch die Erstinstanz "in nicht nachvollziehbarer Weise geschützt" habe. Damit erhebt er keine rechtsgenüglichen Verfassungsrügen, denn er zeigt mit diesen pauschalen Vorbringen nicht hinreichend auf, inwiefern die Vorinstanz seine verfassungsmässigen Rechte verletzt hätte (Erwägung 2.1). Darauf ist nicht einzutreten.
3.2. Der Beschwerdeführer bringt vor, seine Widerklage sei gutzuheissen. Die Vorinstanz erwog diesbezüglich, dass sich die Erstinstanz eingehend mit der vom Beschwerdeführer erhobenen Widerklage befasst und deren Abweisung begründet habe. Mit dieser Begründung [der Erstinstanz], so die Vorinstanz weiter, setze sich der Beschwerdeführer nicht auseinander und bringe nicht vor, inwiefern diese unzutreffend sein sollte. Im Übrigen führe er ohnehin keine Argumente in Bezug auf die Widerklage vor bzw. substanziiere seine diesbezügliche Berufung nicht, weshalb darauf nicht einzutreten sei.
Da die Vorinstanz auf die Ausführungen des Beschwerdeführers bezüglich seiner Widerklage mangels hinreichender Begründung (<ref-law>) nicht einging und diesen Punkt materiell nicht prüfte, hätte er vor Bundesgericht darlegen müssen, dass die Vorinstanz seine verfassungsmässigen Rechte verletzt hätte, indem sie zu hohe Begründungsanforderungen an seine Berufungsschrift gestellt hätte. Solches rügt der Beschwerdeführer aber nicht. Sodann zeigt er auch nicht mit präzisen Aktenhinweisen auf, dass er sich entgegen der Auffassung der Vorinstanz in seiner vorinstanzlichen Berufungsschrift rechtsgenüglich mit der Begründung der Erstinstanz auseinander gesetzt hätte. Vielmehr behauptet er vor Bundesgericht bloss, dass er in der Widerklage vor der Erstinstanz die Mängel und Schäden substantiiert geltend gemacht habe und es nicht "nachvollziehbar" sei, weshalb die Vorinstanzen die Widerklage pauschal abgewiesen haben. Dies geht an der Sache vorbei. Auch darauf ist nicht einzutreten.
3.3. Schliesslich beantragt der Beschwerdeführer eine andere Verteilung der Kosten- und Entschädigungsfolgen der vorinstanzlichen Verfahren. Er begründet dies aber nur, wenn überhaupt, für den Fall der Gutheissung seiner Beschwerde. Nachdem die Beschwerde nicht gutgeheissen werden kann, entfällt auch eine andere Verteilung der Kosten- und Entschädigungsfolgen.
4.
Nach dem Gesagten kann auf die Beschwerde nicht eingetreten werden. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 27. März 2017
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger