Sachverhalt: A. B._ (Kläger und Beschwerdegegner) schloss am 11. Oktober 2012 mit der A1.a._ Akkord GmbH mit Sitz in U._ einen Arbeitsvertrag als Baufachmann ab. Deren einziger Gesellschafter und Geschäftsführer war A.a._ (Beklagter und Beschwerdeführer). Dieser war bereits seit dem 24. März 1997 Inhaber der Einzelfirma a.A._ Akkordunternehmung (nachfolgend: Einzelfirma oder Einzelunternehmen). Am 4. September 2014 wurde die A1.a._ Akkord GmbH auf E._ als einzigen Gesellschafter und Geschäftsführer (nachfolgend: Geschäftsführer) übertragen, in F._ GmbH umbenannt und der Sitz nach V._ verlegt. Das Bezirksgericht Höfe eröffnete am 5. November 2014 den Konkurs über die F._ GmbH (nachfolgend: die GmbH) und stellte diesen mit Verfügung vom 15. Dezember 2014 mangels Aktiven ein. Der Kläger kündigte sein Arbeitsverhältnis mit an die A.a._ Akkordunternehmung GmbH addressiertem Schreiben vom 24. Februar 2015 fristlos per 25. Februar 2015. B. Am 22. Mai 2015 reichte der Kläger beim Einzelrichter am Bezirksgericht Höfe gegen A.a._ als Inhaber der a.A._ Akkordunternehmung eine unbegründete Klage ein und verlangte vom Beklagten Fr. 29'616.-- nebst Zins unter Vorbehalt weiterer Ansprüche. Mit Urteil vom 6. November 2015 hiess der Einzelrichter die Klage im Umfang von Fr. 25'396.30 brutto und Fr. 322.60 netto, je nebst Zins, gut. Die vom Beklagten erhobene Berufung behandelte das Kantonsgericht Schwyz zusammen mit einer Berufung, die in einem Parallelverfahren gegen einen anderen Arbeitnehmer angestrengt worden war, und wies beide Berufungen mit Urteil vom 18. Oktober 2016 ab. C. Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht im Wesentlichen, das Urteil des Kantonsgerichts aufzuheben und die Sache an dieses, eventuell an das Bezirksgericht, zur Neubeurteilung zurückzuweisen. Eventuell sei die Klage abzuweisen. Sein Gesuch um Gewährung der aufschiebenden Wirkung wies das Bundesgericht mit Präsidialverfügung vom 24. Januar 2017 ab. Der Beschwerdegegner schliesst auf kostenfällige Abweisung der Beschwerde, während das Kantonsgericht unter Hinweis auf den angefochtenen Entscheid auf Vernehmlassung verzichtet. Der Beschwerdeführer hat unaufgefordert eine Beschwerdereplik samt Kostennote eingereicht.