Sachverhalt: A. B._ (Beschwerdeführer) bevollmächtigte am 27. September 2006 Rechtsanwalt C._ (Beschwerdegegner) betreffend Umnutzung/Bausache/X._gasse zu allen Rechtshandlungen eines Generalbevollmächtigten mit dem Recht, Stellvertreter zu ernennen. Gleichentags schlossen die Parteien für diese Sache eine Honorarvereinbarung. Für seine anwaltlichen Bemühungen in der Zeit vom 20. September 2006 bis 30. September 2007 stellte der Beschwerdegegner am 6. November 2007 Rechnung über Fr. 70'639.75. Am 17. Dezember 2007 liess er dem Beschwerdeführer die Schlussrechnung in der Höhe von Fr. 77'444.30 zukommen. B. Nachdem der Beschwerdegegner Betreibung eingeleitet hatte, beantragte er dem Bezirksgericht Höfe mit Klage vom 28. April 2008, den Beschwerdeführer zu verpflichten, ihm die in Betreibung gesetzte Forderung von Fr. 77'444.30 nebst 5 % Zins seit 29. Dezember 2007 sowie die in Betreibung gesetzten Kosten des Arrestbefehls Nr. lll._ des Arrestrichters Balsthal und des Zahlungsbefehls in der Betreibung Nr. mmm._ des Betreibungsamtes Höfe im Betrage von Fr. 845.50 bzw. Fr. 100.-- zu bezahlen und den Rechtsvorschlag zu beseitigen. Ferner verlangte er Ersatz der Zahlungsbefehlskosten des Betreibungsamtes Thal-Gäu in der Betreibung Nr. nnn._ von Fr. 210.--. Der Beschwerdeführer beantragte im Wesentlichen die Abweisung der Klage im Fr. 10'000.-- übersteigenden Betrage. Das Bezirksgericht Höfe verpflichtete den Beschwerdeführer am 19. Oktober 2009, dem Beschwerdegegner Fr. 77'444.30 nebst Verzugszins von 5 % ab dem 29. Dezember 2007 zu bezahlen und beseitigte in diesem Umfang den Rechtsvorschlag in der Betreibung Nr. mmm._ des Betreibungsamtes Höfe. C. In teilweiser Gutheissung der Berufung des Beschwerdeführers verpflichtete das Kantonsgericht Schwyz diesen am 5. Juli 2011 zur Zahlung von Fr. 70'424.55 nebst Zins. Es kam im Wesentlichen zum Ergebnis, auf Grund der Vollmacht sei das Zustandekommen eines Auftragsverhältnisses zwischen den Parteien hinreichend substanziiert, und es stellte auf die Honorarvereinbarung ab, die ein streitwertunabhängiges Honorar von Fr. 375.-- zuzüglich MWSt pro Stunde für sämtliche von juristisch qualifizierten Mitarbeitern derselben Advokatur erbrachten Leistungen auswies. Die erbrachten Leistungen seien in dem der Klage beigelegten Leistungsverzeichnis, auf das in den Rechtsschriften verwiesen werde, hinreichend substanziiert. D. Der Beschwerdeführer beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, das Urteil des Kantonsgerichts aufzuheben und die Klage betreffend den Fr. 10'000.-- übersteigenden Betrag abzuweisen. Sein Gesuch um Erteilung der aufschiebenden Wirkung wies das Bundesgericht am 2. November 2011 ab. Der Beschwerdegegner schliesst auf Nichteintreten auf die Beschwerde, eventuell auf deren kostenfällige Abweisung, während das Kantonsgericht beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten ist. Am 1. Dezember 2011 ging beim Bundesgericht unaufgefordert eine vom 29. November 2011 datierende eidesstattliche Erklärung von D._, der im massgeblichen Zeitpunkt Vertreter des Beschwerdeführers war und auf dessen Schreiben sich das Kantonsgericht in seinem Urteil stützte, ein sowie ein Begleitschreiben des Spitals Y._. Beide Dokumente wurden den Parteien zur Kenntnisnahme zugestellt.