Sachverhalt:
A. A._ (nachstehend: Kläger) erbrachte für C._ Bauhandwerkerarbeiten, welche nur teilweise bezahlt wurden. Bezüglich des offenen Rechnungsbetrags von Fr. 16'920.-- beauftragte der Kläger Rechtsanwalt B._ (nachstehend: Beklagter) mit der Eintragung eines Bauhandwerkerpfandrechts und bezahlte am 31. Oktober 2003 einen Kostenvorschuss von Fr. 1'000.--.
Am 25. und 26. November 2003 stellte der Beklagte für den Kläger beim Kreisgerichtspräsidium Rorschach ein Gesuch um Eintragung eines Bauhandwerkerpfandrechts für den Betrag von Fr. 16'920.-- nebst Zins auf dem Grundstück X._, 9035 Grub.
Mit Entscheid vom 3. Februar 2004 wies der Kreisgerichtspräsident Rorschach das Grundbuchamt Eggersriet an, das entsprechende Bauhandwerkerpfandrecht vorzumerken und setzte dem Kläger eine Frist von drei Monaten ab Rechtskraft zur Einleitung der Klage auf definitive Eintragung des Bauhandwerkerpfandrechts.
Bereits am 19. Januar 2004 hatte der Beklagte für den Kläger beim Vermittleramt Eggersriet die Durchführung eines Vermittlungsvorstands mit dem Begehren verlangt, C._ sei zu verpflichten, dem Kläger Fr. 16'920.-- zuzüglich Zins von 5 % ab 15. Oktober 2003 zu bezahlen. Am 26. März 2004 wurde nach erfolgloser Vermittlung der entsprechende Leitschein ausgestellt, der als Einschreibefrist den 26. Mai 2004 nannte.
Am 24. Mai 2004 stellte der Beklagte für seine Bemühungen bis Februar 2004 dem Kläger einen Restbetrag von Fr. 234.60 in Rechnung. Am gleichen Tag fand zwischen den Parteien eine Besprechung statt, an welcher der Kläger einen weiteren Kostenvorschuss von Fr. 1'000.-- bezahlte. Am 26. Mai 2004 reichte der Kanzleikollege des Beklagten, Rechtsanwalt E._, für den Kläger beim Kreisgericht Rorschach gegen C._ eine Klage auf Feststellung der Forderung von Fr. 16'920.-- als Pfandsumme sowie auf definitive Eintragung des Bauhandwerkerpfandrechts ein. Am 6. Oktober 2004 beendete Rechtsanwalt E._ sein Mandat.
Mit Entscheid vom 7. April/14. Juni 2005 trat der Kreisgerichtspräsident Rorschach auf die Klage auf definitive Eintragung des Bauhandwerkerpfandrechts wegen unzulässiger Klageänderung bzw. fehlender Prozessvoraussetzung der Vermittlung nicht ein und wies das Grundbuchamt Eggersriet an, das provisorisch eingetragene Bauhandwerkerpfandrecht zu löschen.
B. Nach erfolgloser Vermittlung belangte der Kläger den Beklagten am 7. August 2006 beim Kreisgerichtspräsidenten St. Gallen auf Zahlung von Fr. 10'883.05 nebst 5 % Zins seit 1. Dezember 2005. Zur Begründung brachte der Kläger vor, der Beklagte habe seine auftragsrechtliche Sorgfaltspflicht verletzt, indem er es versäumt habe, innerhalb der mit Entscheid vom 3. Februar 2004 angesetzten Frist von drei Monaten eine Klage auf Feststellung der Pfandsumme und definitive Eintragung des Pfandrechts einzureichen. Der Beklagte hafte daher für den daraus entstandenen Schaden von Fr. 10'883.05.
Mit Entscheid vom 5. Dezember 2006 verpflichtete der Kreisgerichtspräsident den Beklagten, dem Kläger Fr. 10'667.65 zuzüglich 5 % Zins seit 1. Dezember 2005 zu bezahlen.
Auf Berufung des Beklagten hin hob das Kantonsgericht St. Gallen den erstinstanzlichen Entscheid am 6. September 2007 auf, hiess die Klage im Umfang von Fr. 1'234.60 zuzüglich 5 % Zins seit 1. Dezember 2005 gut und wies sie im Übrigen ab.
Zur Begründung führte das Kantonsgericht aus, der Auftrag des Klägers an den Beklagten habe sich entgegen seiner Darstellung nicht nur auf die provisorische, sondern auch auf die definitive Eintragung des Bauhandwerkerpfandrechts bezogen. Weil der Beklagte es unterlassen habe, fristgerecht um die definitive Eintragung des Bauhandwerkerpfandrechts zu ersuchen, sei ihm eine Vertragsverletzung vorzuwerfen. Der Kläger könne daraus als Schadenersatz nur das positive Vertragsinteresse verlangen. Er sei mithin so zu stellen, wie wenn der Auftrag gehörig erfüllt worden wäre. Damit fielen als Schaden jene Kosten ausser Betracht, welche auch bei ordnungsgemässer Erfüllung des Auftrags angefallen wären. Dies treffe vorliegend auf sämtliche Verfahrenskosten betreffend die Vormerkung der provisorischen Eintragung zu. Die wegen fehlender Vermittlung aussichtslose Klage vom 26. Mai 2004 habe nicht der Beklagte, sondern dessen Kanzleikollege, Rechtsanwalt E._, eingereicht. Dieser habe sich gegenüber dem Kreisgerichtspräsidium Rorschach auf seine ordentliche Bevollmächtigung berufen. Ob diese - wie der Beklagte behaupte - Folge eines selbständigen Mandats zwischen Rechtsanwalt E._ und dem Kläger gewesen sei, oder - wie von diesem behauptet - im Rahmen des ursprünglichen Vertragsverhältnisses erfolgt sei, könne offen bleiben. Sollten die Ausführungen des Klägers zutreffen, sei nämlich davon auszugehen, dass Rechtsanwalt E._ nicht als Hilfsperson des Beklagten, sondern als sein Substitut im Sinne von Art. 398 Abs. 3 OR gehandelt habe. Dafür spreche, dass die Auftragsausführung in Kenntnis und mit Duldung des Klägers übertragen worden sei, weil der Beklagte selbst mit Arbeit ausgelastet gewesen sei. So sei anerkannt, dass eine Substitution übungsgemäss als zulässig betrachtet werde, wenn in einer Anwaltskanzlei ein anderer Beauftragter im Notfall einspringe. Der Ansicht, dass Rechtsanwalt E._ als Substitut gehandelt habe, sei zunächst auch der Kläger gewesen, da er sein erstes Vermittlungsbegehren gegen diesen gerichtet habe. Da Rechtsanwalt E._ vom Beklagten befugterweise als Substitut beigezogen worden sei, hafte dieser gemäss Art. 399 Abs. 2 OR für den Schaden, der vom Substitut verursacht wurde, nur wenn dieser mangelhaft ausgewählt oder/und instruiert wurde. Dies sei jedoch vorliegend zu verneinen. Damit hafte der Beklagte nicht für die Kosten, welche durch die Einreichung der Klage durch Rechtsanwalt E._ verursacht wurden. Die Kosten von Fr. 2'000.-- für die Beratung durch die Rechtsanwälte F._, G._, H._ und J._ im Hinblick auf eine Weiterführung des Prozesses seien ebenfalls durch die aussichtslose Klageeinreichung verursacht worden. Schliesslich ging das Kantonsgericht davon aus, die Sorgfaltspflichtsverletzung des Beklagten sei so gravierend, dass sich die Kürzung seines Honorars um 100 % rechtfertige. Der Kläger habe dem Beklagten insgesamt Fr. 2'234.60 bezahlt. Auf die Leistungen des Beklagten dürfte sich aber nur der Betrag von Fr. 1'234.60 bezogen haben. Der am 24. Mai 2004 bezahlte Kostenvorschuss betreffe Leistungen von Rechtsanwalt E._ und könne damit höchstens diesem gegenüber zu einem Honorarabzug berechtigen. Zusammenfassend ergebe sich, dass der Kläger vom Beklagten Honorar in der Höhe von Fr. 1'234.60 zurückverlangen könne.
C. Der Kläger (nachstehend: Beschwerdeführer) ficht den Entscheid des Kantonsgerichts St. Gallen vom 6. September 2007 sowohl mit Beschwerde in Zivilsachen als auch mit subsidiärer Verfassungsbeschwerde an. Mit beiden Beschwerden stellt er die Anträge, der angefochtene Entscheid sei aufzuheben und der Beschwerdegegner sei zu verpflichten, dem Beschwerdeführer Fr. 10'667.65 zuzüglich 5 % Zins seit 1. Dezember 2004 zu bezahlen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das Kantonsgericht verzichtet auf eine Stellungnahme. Der Beklagte (nachstehend: Beschwerdegegner) beantragt, beide Beschwerden abzuweisen, soweit darauf eingetreten werden könne.
Erwägungen:
1. Führt eine Partei gegen einen Entscheid sowohl ordentliche Beschwerde als auch subsidiäre Verfassungsbeschwerde, so behandelt das Bundesgericht beide Beschwerden im gleichen Verfahren (Art. 119 Abs. 2 BGG). Der Beschwerdeführer hatte entgegen Art. 119 Abs. 1 BGG die beiden Beschwerden in getrennten Rechtsschriften eingereicht. Von einer Rückweisung zur Behebung des Mangels wird jedoch abgesehen (vgl. Giovanni Biaggini, Basler Kommentar, N. 4 zu Art. 119 BGG).
2. 2.1 In vermögensrechtlichen Angelegenheiten ist die Beschwerde in Zivilsachen grundsätzlich nur zulässig, wenn der Streitwert mindestens Fr. 30'000.-- beträgt (Art. 74 Abs. 1 BGG). Wird dieser Streitwert nicht erreicht, ist die Beschwerde ausnahmsweise dennoch zulässig, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (Art. 74 Ab 2 lit. a BGG). Eine solche Frage ist zu bejahen, wenn ein allgemeines Interesse besteht, dass eine umstrittene Frage höchstrichterlich geklärt wird, um eine einheitliche Anwendung und Auslegung des Bundesrechts herbeizuführen und damit Rechtssicherheit herzustellen (vgl. Urteil 4A_237/2007 vom 28. September 2007 E. 2.4). Dagegen stellt sich keine Frage von grundsätzlicher Bedeutung, wenn lediglich die Anwendung von anerkannten Grundsätzen der Rechtsprechung auf einen konkreten Fall zur Diskussion steht (BGE 133 III 493 E. 1.2). In der Beschwerdeschrift ist zu begründen, weshalb eine Frage von grundsätzlicher Bedeutung vorliegt (Art. 42 Abs. 2 BGG; BGE 133 III 439 E. 2.2.2.1).
2.2 Der Beschwerdeführer macht geltend, im vorliegenden Fall hätten Anwälte im gleichen Mandat in aneinandergereihter Mandatsführung Fehler begangen. Ob der zweite Anwalt unter diesen Umständen als Hilfsperson oder als Substitut des ersten Anwalts zu qualifizieren sei, sei eine Frage von grundsätzlicher Bedeutung, weil es dazu keinen Bundesgerichtsentscheid und keine Praxis gäbe.
2.3 Das Bundesgericht hat bezüglich der Frage, ob ein vom Beauftragten im Rahmen der Auftragserfüllung beigezogener Dritter als Hilfsperson oder als Substitut zu qualifizieren sei, namentlich darauf abgestellt, ob der Dritte die ihm übertragene Aufgabe selbständig erfüllt (BGE 103 II 59 E. 1a; vgl. auch BGE 117 II 563 E. 3a S. 568). In der Lehre wird angenommen, dass daneben eine Interessenabwägung vorgenommen werden müsse (Fellmann, Berner Kommentar, N. 546 zu Art. 398 OR), weil das Haftungsprivileg des Art. 399 Abs. 2 OR nicht gerechtfertigt sei, wenn die Substitution allein im Interesse des Beauftragten, z.B. zu seiner Arbeitsentlastung, erfolge (Fellmann, a.a.O., N. 574 zu Art. 398 OR; vgl. auch Weber, Basler Kommentar, 4. Aufl. N. 3 zu Art. 398 OR). Dies entspricht der Rechtsprechung, wonach sich die beschränkte Haftung gemäss Art. 399 Abs. 2 OR nur rechtfertigt, wenn die Substitution im Interesse des Auftraggebers erfolgt, was namentlich zutrifft, wenn der Beauftragte einen Spezialisten beizieht (BGE 112 II 347 E. 2a und 2b; vgl. auch Urteil 4C.24/1993 vom 14. Dezember 1993 E. 2a/cc, publ. in SJ 1994 S. 284 f.). In der Lehre wird angenommen, einer Übung entspreche, dass innerhalb einer Arztpraxis oder Anwaltskanzlei ein Kollege des Beauftragten im Notfall einspringe. Der Substitut müsse jedoch ausreichend qualifiziert sein und über den notwendigen Befähigungsausweis verfügen (Weber, a.a.O., N. 5 zu Art. 398 OR).
2.4 Nach dem Gesagten gibt es zur Frage der Unterscheidung zwischen Hilfspersonen und Substituten von der Rechtsprechung und Lehre anerkannte Grundsätze, deren Anwendung der Beschwerdeführer beanstandet. Insoweit ist eine Frage von grundsätzlicher Bedeutung zu verneinen.
2.5 Alsdann macht der Beschwerdeführer geltend, im vorliegenden Fall stelle sich die Frage, ob zwei Anwälte einer Kanzlei, die an einem Mandat mitwirken, eine einfache Gesellschaft bilden. Diese Frage sei von grundsätzlicher Bedeutung.
Der Beschwerdeführer legt jedoch nicht dar, weshalb insoweit eine Frage von grundsätzlicher Bedeutung vorliegt, weshalb diese Frage mangels einer rechtsgenüglichen Begründung nicht zu prüfen ist.
2.6 Gemäss den vorstehenden Erwägungen ist eine Frage von grundsätzlicher Bedeutung zu verneinen, bzw. nicht rechtsgenüglich dargetan worden. Damit ist auf die Beschwerde in Zivilsachen nicht einzutreten.
2.7 Die Letztinstanzlichkeit des angefochtenen Entscheids ist gegeben, da das St. Galler Zivilprozessgesetz vom 20. Dezember 1990 die Nichtigkeitsbeschwerde bis zum Streitwert von Fr. 30'000.-- ausschliesst (Art. 238 Abs. 1 lit. a ZPO/SG). Demnach erweist sich die form- und fristgerecht eingereichte subsidiäre Verfassungsbeschwerde grundsätzlich als zulässig.
2.8 Mit der Verfassungsbeschwerde kann nur die Verletzung von verfassungsmässigen Rechten gerügt werden (Art. 116 BGG). Der Beschwerdeführer muss angeben, welches verfassungsmässige Recht verletzt wurde, und substantiiert darlegen, worin die Verletzung besteht. Das Bundesgericht kann die Verletzung eines Grundrechtes gemäss Art. 117 i.V.m. Art. 106 Abs. 2 BGG nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (BGE 133 III 439 E. 3.2 S. 444). Macht der Beschwerdeführer eine Verletzung von Art. 9 BV geltend, so genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich. Vielmehr hat der Beschwerdeführer - wie schon im Verfahren der staatsrechtlichen Beschwerde - darzutun, inwiefern der angefochtene Entscheid offensichtlich unhaltbar ist. Dies ist namentlich zu bejahen, wenn er mit der tatsächlichen Situation in klarem Widerspruch steht oder eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt (BGE 110 Ia 1 E. 2a S. 3 f.; 133 I 149 E. 3.1 S. 153).
2.9 In der Beschwerde wird mehrfach eine Verletzung von Art. 9 BV gerügt. Die Begründungen dieser Rügen erschöpfen sich jedoch weitgehend in appellatorischer Kritik am angefochtenen Entscheid, welche den genannten Anforderungen an die Begründung nicht gerecht wird. So genügt es nicht, bezüglich der Kosten für die provisorische Eintragung des Bauhandwerkerpfandrechts die Verletzung einer Bestimmung des kantonalen Prozessrechts geltend zu machen, ohne klar darzulegen, inwiefern diese krass verletzt sein soll. Nicht rechtsgenüglich begründet ist auch die Rüge der willkürlichen antizipierten Beweiswürdigung, da der Beschwerdeführer nicht aufzeigt, welche beantragten Beweiserhebungen die Vorinstanz in antizipierter Beweiswürdigung abgelehnt haben soll. Insoweit ist auf die subsidiäre Verfassungsbeschwerde nicht einzutreten.
3. 3.1 Der Beschwerdeführer rügt, die Vorinstanz habe Bundesrecht willkürlich angewendet, indem sie angenommen habe, Rechtsanwalt E._ habe als Substitut des Beschwerdegegners gehandelt. Sie habe ausser Acht gelassen, dass dieser gemäss eigener Darstellung Rechtsanwalt E._ beigezogen hatte, weil er selber wegen Auslastung nicht in der Lage war, den Auftrag zu erfüllen. Damit habe der Beschwerdegegner Rechtsanwalt E._ zur Umsatzerweiterung beigezogen. Die allfällige Substitution sei demnach im Interesse des Beschwerdegegners und nicht im Interesse des Beschwerdeführers erfolgt. Dies hätte zutreffen können, wenn Rechtsanwalt E._ für diese Sache besonders befähigt gewessen wäre, was jedoch nicht der Fall gewesen sei. Die Vorinstanz habe damit das Argument "Arbeitsauslastung" willkürlich als Indiz für die Substitution gewertet. Dass Rechtsanwalt E._ als Hilfsperson des Beschwerdegegners anzusehen sei, ergebe sich auch daraus, dass jener zum Zeitpunkt der Klageeinreichung am 26. Mai 2004 nicht auf dem Briefpapier aufgeführt worden sei. Auch der Umstand, dass der Beschwerdegegner Rechtsanwalt E._ erst zwei Tage vor Ablauf der Frist zur Einreichung der Klage gemäss Leitschein vom 26. März 2004 beigezogen habe, spreche für dessen Eigenschaft als Hilfsperson, sei er doch in dieser knappen Frist ohne Mithilfe des Beschwerdegegners gar nicht in der Lage gewesen, die Klage seriös abzufassen.
3.2 Ob diese Rüge rechtsgenüglich begründet wurde, kann offen bleiben, da eine Verletzung von Art. 9 BV ohnehin zu verneinen ist. So ist nicht unhaltbar anzunehmen, der Beschwerdegegner habe sich am 24. Mai 2004 in Anbetracht seiner Arbeitsauslastung und der kurzen noch zur Verfügung stehenden Zeit bis zum Ablauf der Einschreibefrist am 26. Mai 2004 gemäss Leitschein vom 26. März 2004 zur Übertragung an einen Dritten durch die Umstände genötigt gesehen, weshalb die Substitution auch im Interesse des Beschwerdeführers erfolgte. Dass der beigezogene Anwaltskollege (noch) nicht auf dem Briefpapier des Anwaltsbüros aufgeführt wurde, ist dabei nicht erheblich, weil daraus nicht auf seine ungenügende Qualifikation geschlossen werden kann, welche vom Beschwerdeführer auch nicht geltend gemacht wird. Damit ist die Vorinstanz nicht in Willkür verfallen, wenn sie von einer zulässigen Substitution ausging.
4. Nach dem Gesagten ist auf die Beschwerde in Zivilsachen nicht einzutreten und die subsidiäre Verfassungsbeschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 65 f. und Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in Zivilsachen wird nicht eingetreten.
2. Die subsidiäre Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
4. Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
5. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Präsident der III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 14. März 2008
Im Namen der I. zivilrechtlichen Abteilung des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Corboz Gelzer