Sachverhalt:
A. B._ (Beschwerdeführer) bevollmächtigte am 27. September 2006 Rechtsanwalt C._ (Beschwerdegegner) betreffend Umnutzung/Bausache/X._gasse zu allen Rechtshandlungen eines Generalbevollmächtigten mit dem Recht, Stellvertreter zu ernennen. Gleichentags schlossen die Parteien für diese Sache eine Honorarvereinbarung. Für seine anwaltlichen Bemühungen in der Zeit vom 20. September 2006 bis 30. September 2007 stellte der Beschwerdegegner am 6. November 2007 Rechnung über Fr. 70'639.75. Am 17. Dezember 2007 liess er dem Beschwerdeführer die Schlussrechnung in der Höhe von Fr. 77'444.30 zukommen.
B. Nachdem der Beschwerdegegner Betreibung eingeleitet hatte, beantragte er dem Bezirksgericht Höfe mit Klage vom 28. April 2008, den Beschwerdeführer zu verpflichten, ihm die in Betreibung gesetzte Forderung von Fr. 77'444.30 nebst 5 % Zins seit 29. Dezember 2007 sowie die in Betreibung gesetzten Kosten des Arrestbefehls Nr. lll._ des Arrestrichters Balsthal und des Zahlungsbefehls in der Betreibung Nr. mmm._ des Betreibungsamtes Höfe im Betrage von Fr. 845.50 bzw. Fr. 100.-- zu bezahlen und den Rechtsvorschlag zu beseitigen. Ferner verlangte er Ersatz der Zahlungsbefehlskosten des Betreibungsamtes Thal-Gäu in der Betreibung Nr. nnn._ von Fr. 210.--. Der Beschwerdeführer beantragte im Wesentlichen die Abweisung der Klage im Fr. 10'000.-- übersteigenden Betrage. Das Bezirksgericht Höfe verpflichtete den Beschwerdeführer am 19. Oktober 2009, dem Beschwerdegegner Fr. 77'444.30 nebst Verzugszins von 5 % ab dem 29. Dezember 2007 zu bezahlen und beseitigte in diesem Umfang den Rechtsvorschlag in der Betreibung Nr. mmm._ des Betreibungsamtes Höfe.
C. In teilweiser Gutheissung der Berufung des Beschwerdeführers verpflichtete das Kantonsgericht Schwyz diesen am 5. Juli 2011 zur Zahlung von Fr. 70'424.55 nebst Zins. Es kam im Wesentlichen zum Ergebnis, auf Grund der Vollmacht sei das Zustandekommen eines Auftragsverhältnisses zwischen den Parteien hinreichend substanziiert, und es stellte auf die Honorarvereinbarung ab, die ein streitwertunabhängiges Honorar von Fr. 375.-- zuzüglich MWSt pro Stunde für sämtliche von juristisch qualifizierten Mitarbeitern derselben Advokatur erbrachten Leistungen auswies. Die erbrachten Leistungen seien in dem der Klage beigelegten Leistungsverzeichnis, auf das in den Rechtsschriften verwiesen werde, hinreichend substanziiert.
D. Der Beschwerdeführer beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, das Urteil des Kantonsgerichts aufzuheben und die Klage betreffend den Fr. 10'000.-- übersteigenden Betrag abzuweisen. Sein Gesuch um Erteilung der aufschiebenden Wirkung wies das Bundesgericht am 2. November 2011 ab. Der Beschwerdegegner schliesst auf Nichteintreten auf die Beschwerde, eventuell auf deren kostenfällige Abweisung, während das Kantonsgericht beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten ist. Am 1. Dezember 2011 ging beim Bundesgericht unaufgefordert eine vom 29. November 2011 datierende eidesstattliche Erklärung von D._, der im massgeblichen Zeitpunkt Vertreter des Beschwerdeführers war und auf dessen Schreiben sich das Kantonsgericht in seinem Urteil stützte, ein sowie ein Begleitschreiben des Spitals Y._. Beide Dokumente wurden den Parteien zur Kenntnisnahme zugestellt.

Erwägungen:
1. Vor Bundesgericht können nicht beliebige Personen unaufgefordert Stellungnahmen oder Beweismittel einreichen. Vielmehr entscheidet das Bundesgericht nach Massgabe von Art. 102 Abs. 1 BGG, wer zur Vernehmlassung eingeladen wird. Die eidesstattliche Erklärung und das Begleitschreiben sind daher nicht zu berücksichtigen.
2. Das kantonale Verfahren wurde sowohl erst- als auch zweitinstanzlich vor Inkrafttreten der eidgenössischen ZPO anhängig gemacht, weshalb darauf das bisherige Verfahrensrecht, mithin die Schwyzer Zivilprozessordnung vom 25. Oktober 1974 anzuwenden ist (Art. 404 Abs. 1 ZPO), wie die Vorinstanz zutreffend festhielt.
2.1 Mit der Beschwerde in Zivilsachen kann die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Der Begriff des Bundesrechts umfasst die von den Bundesorganen erlassenen Rechtsnormen aller Erlassstufen, insbesondere die Bundesverfassung, die Bundesgesetze sowie die verschiedenen Arten von Verordnungen. Soweit sich der angefochtene Entscheid auf Quellen des kantonalen Rechts stützt, welche nicht in Art. 95 lit. c-e BGG genannt werden, beschränkt sich die Überprüfung durch das Bundesgericht inhaltlich auf die Frage, ob die Anwendung des kantonalen Rechts zu einer Bundesrechtswidrigkeit führt. Im Vordergrund steht dabei eine Verletzung verfassungsmässiger Rechte, insbesondere des Willkürverbots nach Art. 9 BV (<ref-ruling> E. 1 S. 95; <ref-ruling> E. 1 S. 203 mit Hinweisen; zum Begriff der Willkür <ref-ruling> E. 2.1 S. 211 mit Hinweisen). Diesbezügliche Rügen prüft das Bundesgericht nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden sind (Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.1 S. 53).
2.2 Der Beschwerdeführer rügt einzig, die Vorinstanz habe Bundesrecht verletzt, indem sie angenommen habe, für die Substanziierung eines Anspruchs reiche nach der Rechtsprechung des Kantons Schwyz aus, dass in den Rechtsschriften auf Beilagen verwiesen werde, wenn aus diesen klar ersichtlich sei, wie sich die geltend gemachte Forderung zusammensetze. Zur Untermauerung seiner Beanstandung beruft er sich auf eine auch im angefochtenen Entscheid wiedergegebene Lehrmeinung zur Eidgenössischen Zivilprozessordnung, wonach Tatsachen, die sich lediglich aus einer Beilage zu einer Rechtsschrift ergeben, vom Richter - soweit die Verhandlungsmaxime das Verfahren beherrscht - nicht zu beachten sind und der Behauptungslast auch nicht hinreichend nachkommt, wer in der Rechtsschrift allgemein auf eine Beilage verweist oder erklärt, dass eingereichte Akten als integrierender Bestandteil der Rechtsschrift gelten (FREI/WILLISEGGER, in: Basler Kommentar, Schweizerische Zivilprozessordnung, 2010, N. 16 zu Art. 221 ZPO). Daraus leitet der Beschwerdeführer ab, der Beschwerdegegner hätte in den Rechtsschriften zur ausreichenden Substanziierung seiner Honorarforderung sämtliche diese begründenden Gespräche, Willensäusserungen, inneren Vorstellungen, Mahnungen, Gestaltungsgeschäfte, Handlungen und erbrachte Leistungen sowie Geschehnisse konkret darlegen und im Einzelnen schildern müssen. Da Beilagen zu Rechtsschriften blosse Beweisofferten und nicht Parteibehauptungen darstellten, könne der pauschale Verweis auf Leistungsverzeichnisse die Parteibehauptungen nicht ersetzen. Mit der Auffassung, der Beschwerdegegner sei seiner Substanziierungspflicht nachgekommen, verstosse die Vorinstanz gegen Art. 8 ZGB, habe der Beschwerdegegner seine Klage doch überhaupt nicht substanziiert, sondern lediglich auf Leistungsverzeichnisse verwiesen.
2.3 Da die Eidgenössische ZPO noch nicht zur Anwendung kommt, bestimmt grundsätzlich das kantonale Prozessrecht, wie der Sachverhalt zu ermitteln ist. Danach beurteilt sich auch, ob und wie weit die Verhandlungsmaxime greift, soweit nicht das Bundesrecht abweichendes normiert (<ref-ruling> E. 3a S. 201 und 594 E. 3a S. 595). Schreibt das kantonale Recht vor, der Richter dürfe seinem Urteil nur behauptete Tatsachen zugrunde legen, so kann es grundsätzlich auch die Anforderungen festlegen, welchen die Behauptung zu genügen hat. Dem Prozessrecht bleibt mithin grundsätzlich vorbehalten, die Anforderungen festzulegen, denen eine Behauptung in formeller Hinsicht zu genügen hat, und zu bestimmen, in welcher Form und bis zu welchem Zeitpunkt die Sachvorbringen in das Verfahren einzuführen sind (vgl. <ref-ruling> E. 2b, 2d und 3). Zwar bestimmt Bundesrecht, wie weit ein Sachverhalt zu substanziieren ist, damit er unter die Bestimmungen des materiellen Rechts subsumiert werden kann (<ref-ruling> E. 2b S. 339; <ref-ruling> E. 3.3 S. 162 mit Hinweisen). Es verletzt aber Art. 8 ZGB nicht, wenn das einschlägige Prozessrecht die Berücksichtigung von Tatsachen nicht von einer entsprechend substanziierten Behauptung abhängig macht. Gemäss Art. 8 ZGB sind die das behauptete Recht erzeugenden Tatsachen zu beweisen. Ob diese von den Parteien zu behaupten sind, regelt Art. 8 ZGB nicht (BGE 78 II 97 f.).
2.4 An der vom Beschwerdeführer beanstandeten Stelle hielt die Vorinstanz fest, der Beschwerdegegner habe behauptet, in der Zeit seiner Tätigkeit für den Beschwerdeführer insgesamt sieben umfangreiche Rechtsschriften verfasst zu haben. Es sei um ein Umnutzungsgesuch betreffend eine Liegenschaft des Beschwerdeführers gegangen, das von der Baukommission der Einwohnergemeinde Z._ nicht bewilligt worden sei. Daher sei angezeigt gewesen, zwei parallele Verfahren zu führen, eines gegen die Nichtbewilligung des Umnutzungsgesuchs und ein weiteres gegen die Zonenplanänderung. Darüber hinaus habe der Beschwerdegegner relativ viel Korrespondenz mit verschiedenen Ämtern und Behörden geführt. Alle in Rechnung gestellten Tätigkeiten seien in den Lastenverzeichnissen ausgewiesen. Diese beiden Lastenverzeichnisse sind nach Auffassung der Vorinstanz übersichtlich. Aus ihnen gehe klar hervor, welcher Mitarbeiter der Advokatur des Beschwerdegegners wie lange woran und zu welchem Stundenlohn gearbeitet habe. Es sei ersichtlich, wie sich die geltend gemachten Forderungen zusammengesetzt hätten. Für eine genügende Substanziierung sei der Beschwerdegegner daher nicht gehalten gewesen, die Leistungsverzeichnisse in die Replik zu integrieren. Der Beschwerdeführer sei denn im erstinstanzlichen Verfahren auch durchaus in der Lage gewesen, den vom Beschwerdegegner für diverse Rechtsschriften geltend gemachten Zeitaufwand zu bestreiten und als überhöht zu bezeichnen, obwohl sich die Einzelheiten "lediglich, aber immerhin" aus den Klagebeilagen ergeben hätten, auf die in den Rechtsschriften ausdrücklich verwiesen worden sei.
2.5 Der Beschwerdeführer hält daran fest, die Substanziierung hätte in den Rechtsschriften selbst erfolgen müssen. Die von ihm angeführte Literaturstelle bezieht sich indessen auf Art. 221 ZPO, die auf die zu beurteilende Streitsache noch nicht zur Anwendung gelangt. Vielmehr richtete sich das Verfahren noch nach der Zivilprozessordnung des Kantons Schwyz. Dass die Vorinstanz gegen Regeln des kantonalen Prozessrechts verstossen haben soll, wenn sie in formeller Hinsicht nicht verlangte, dass die Substanziierung in der Rechtsschrift selbst erfolgt, sondern zuliess, dass sich diese aus einer Beilage ergab, zeigt der Beschwerdeführer nicht auf, geschweige denn, dass die Anwendung des kantonalen Prozessrechts willkürlich wäre. Inwiefern die Behauptungen aber unter Berücksichtigung der Angaben in den Leistungsverzeichnissen nicht derart umfassend, detailliert und klar gewesen wären, dass der Beschwerdeführer dazu hätte Stellung nehmen können, legt er nicht dar und ist nicht ersichtlich. Von einer Verletzung von Bundesrecht kann keine Rede sein.
3. Damit erweist sich die Beschwerde als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird der Beschwerdeführer für das bundesgerichtliche Verfahren kostenpflichtig. Gemäss Art. 68 Abs. 2 BGG wird die unterliegende Partei in der Regel verpflichtet, der obsiegenden Partei alle durch den Rechtsstreit verursachten notwendigen Kosten zu ersetzen. Nach bundesgerichtlicher Praxis haben obsiegende Parteien grundsätzlich nur dann Anspruch auf eine Parteientschädigung, wenn sie durch einen externen Anwalt vertreten sind, und deshalb tatsächlich Anwaltskosten anfallen. Der Beschwerdegegner handelt als Anwalt in eigener Sache. Für die Beantwortung der offensichtlich unbegründeten Beschwerde war objektiv kein besonderer Aufwand notwendig. Es ist daher keine Parteientschädigung auszurichten (<ref-ruling> E. 5 S. 304; Urteil des Bundesgerichts 2C_807/2008 vom 19. Juni 2009 E. 4.3; je mit Hinweisen).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Schwyz, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 10. Februar 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak