Sachverhalt: A. Die A._ Technik AG (Klägerin, Beschwerdeführerin) ist spezialisiert auf die Projektierung und Ausführung von Stark- und Schwachstromanlagen. Die B._ Elektroanlagen AG (Widerklägerin, Beschwerdegegnerin) bezweckt die Installation von Elektroanlagen sowie Bauausführungen. Die Widerklägerin war unter anderem vom Jahr 2008 bis anfangs 2010 auf verschiedenen Baustellen als Subunternehmerin für die Klägerin tätig. Vorliegend geht es um Leistungen in den Projekten U._, V._, W._, X._, Y._ und Z._. Die Parteien schlossen diesbezüglich im Jahr 2006 bzw. November 2008 mündlich einen "Zusammenarbeitsvertrag". Zwischen den Parteien entstand Uneinigkeit über die Honorierung der Widerklägerin. Die Klägerin hielt der Forderung der Widerklägerin in der Höhe von Fr. 293'230.88 diverse Abzüge entgegen, insbesondere wegen angeblicher Mängel, und machte im Resultat ihrerseits eine Forderung gegenüber der Widerklägerin geltend. Zudem erhob sie im Zusammenhang mit einem Baustellenverbot Verrechnungsforderungen. B. Nach erfolglosem Schlichtungsversuch forderte die Klägerin am 10. Mai 2010 vor dem Kantonsgericht Appenzell Ausserrhoden Fr. 95'000.-- nebst Zins, unter Nachklagevorbehalt. Die Widerklägerin beantragte die Abweisung der Klage und verlangte von der Klägerin widerklageweise die Bezahlung von Fr. 284'642.-- nebst Zins. Die Klägerin verlangte die Abweisung der Widerklage. "Eventualiter" machten beide Parteien Verrechnung geltend. Das Kantonsgericht führte ein Beweisverfahren durch. Mit Urteil vom 23. August 2012 wies es die Klage ab und verpflichtete die Klägerin in teilweiser Gutheissung der Widerklage, der Widerklägerin Fr. 218'033.35 nebst Zins zu 5% seit 26. März 2010 zu bezahlen. Dagegen gelangte die Klägerin mit Berufung an das Obergericht von Appenzell Ausserrhoden. Sie beantragte einerseits die Verurteilung der Widerklägerin, der Klägerin Fr. 37'629.20 nebst Zins zu bezahlen (Berufungsantrag Ziff. 1) und andererseits die Verurteilung der Klägerin, der Widerklägerin Fr. 107'651.06 nebst Zins zu bezahlen (Berufungsantrag Ziff. 2). Die gegenseitigen Forderungen seien zu verrechnen (Berufungsantrag Ziff. 3). Mit Entscheid vom 19. August 2013 wies das Obergericht die Berufung ab und bestätigte den erstinstanzlichen Entscheid. C. Die Klägerin beantragt mit Beschwerde in Zivilsachen, den Entscheid des Obergerichts vom 19. August 2013 vollumfänglich aufzuheben und die Angelegenheit zur Neubeurteilung im Sinne der Erwägungen des Bundesgerichts an die Vorinstanz zurückzuweisen. Eventualiter sei die Widerklägerin zu verurteilen, ihr den Betrag von Fr. 6'065.80 nebst Zins zu 5% seit 11. März 2010 zu bezahlen. Ebenfalls eventualiter sei die der Widerklägerin zugesprochene Forderungssumme von Fr. 218'033.35 auf Fr. 123'033.35 zu reduzieren. Die Widerklägerin beantragt, die Beschwerde abzuweisen. Die Vorinstanz verzichtete auf eine Vernehmlassung.