Sachverhalt:
A. Mit Entscheid vom 16. November 2010 erteilte der Einzelrichter des Kreisgerichts Werdenberg-Sarganserland Y._ in der von diesem gegen X._ (Beschwerdeführer) angehobenen Betreibung Nr. xxx des Betreibungsamtes Buchs auf Verwertung eines Grundpfandes für Fr. 127'274.30 nebst Zins und Betreibungskosten provisorische Rechtsöffnung.
Eine diesbezügliche Aberkennungsklage des Beschwerdeführers, mit der er die Feststellung des Nichtbestands der Forderung und des Grundpfandrechts verlangte, hiess das Kreisgericht Werdenberg-Sarganserland mit Entscheid vom 20. Oktober 2011 gut. Dagegen gelangte Y._ mit Berufung an das Kantonsgericht St. Gallen und beantragte, den Entscheid des Kreisgerichts aufzuheben und die Klage abzuweisen.
Am 15. Dezember 2011 stellte der Beschwerdeführer das Gesuch, es sei ihm im Berufungsverfahren die unentgeltliche Rechtspflege zu gewähren. Die Präsidentin des Kantonsgerichts wies dieses Gesuch mit Entscheid vom 1. Februar 2012 ab, weil sie das Rechtsbegehren des Beschwerdeführers als aussichtslos betrachtete. Sie kam zum Schluss, auf die Aberkennungsklage könne voraussichtlich wegen Versäumung der Klagefrist nach Art. 83 Abs. 2 SchKG nicht eingetreten werden und die Klage könne voraussichtlich auch nicht als negative Feststellungsklage nach Art. 85a SchKG entgegen genommen werden.
B. Der Beschwerdeführer erhob gegen diesen Entscheid am 7. März 2012 Beschwerde in Zivilsachen mit den Anträgen, diesen aufzuheben und dem Beschwerdeführer für das hängige Berufungsverfahren vor Kantonsgericht die unentgeltliche Rechtspflege zu bewilligen sowie ihm Rechtsanwalt Reto Fischer als unentgeltlichen Rechtsbeistand beizuordnen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Gleichzeitig ersuchte er um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren unter Beigabe eines unentgeltlichen Rechtsbeistands.
Mit Verfügung vom 21. Juni 2012 wurde dem Beschwerdeführer für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege bewilligt und ihm Rechtsanwalt Reto Fischer als Rechtsbeistand beigegeben.
Die Präsidentin des Kantonsgerichts verzichtete auf eine Vernehmlassung zur Beschwerde.
Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Entscheid (Art. 75 Abs. 1 BGG), mit dem die unentgeltliche Rechtspflege mangels ausreichender Prozessaussichten verweigert wurde. Es handelt sich um einen Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil bewirken kann (Art. 93 Abs. 1 lit. a BGG; BGE 129 I 129 E. 1.1). Nach dem Grundsatz der Einheit des Verfahrens sind Zwischenentscheide mit dem in der Hauptsache zulässigen Rechtsmittel anzufechten (BGE 134 V 138 E. 3 S. 144). Da der Streitwert der Hauptsache Fr. 30'000.-- übersteigt, ist die Beschwerde in Zivilsachen, deren weitere Sachurteilsvoraussetzungen ebenfalls erfüllt sind, zulässig.
2. Die Vorinstanz hat zutreffend erkannt und es ist unbestritten, dass auf das bei ihr hängige Berufungsverfahren und auf das Zwischenverfahren betreffend unentgeltliche Rechtspflege die Schweizerische Zivilprozessordnung anwendbar ist (Art. 405 Abs.1 ZPO).
Nach Art. 117 ZPO hat eine Person Anspruch auf unentgeltliche Rechtspflege, wenn sie nicht über die erforderlichen Mittel verfügt (lit. a) und ihr Rechtsbegehren nicht aussichtslos erscheint (lit. b). Wer diese Bedingungen erfüllt, hat ausserdem Anspruch auf unentgeltlichen Rechtsbeistand, soweit dies zur Wahrung der Rechte notwendig ist (Art. 118 Abs. 1 lit. c ZPO). Unabhängig davon bestehen entsprechende Ansprüche aufgrund von Art. 29 Abs. 3 BV (BGE 129 I 129 E. 2.1 S. 133).
Als aussichtslos sind nach der bundesgerichtlichen Praxis zu Art. 29 Abs. 3 BV, die auch mit Bezug auf Art. 117 ZPO ihre Geltung beibehält (BGE 138 III 217 E. 2.2.4; Botschaft vom 28. Juni 2006 zur Schweizerischen Zivilprozessordnung [ZPO], BBl 2006 7302, Ziff. 5.8.4 zu Art. 115 E-ZPO), Prozessbegehren anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese. Massgebend ist, ob eine Partei, die über die nötigen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde. Ob im Einzelfall genügende Erfolgsaussichten bestehen, beurteilt sich aufgrund einer summarischen Prüfung nach den Verhältnissen zur Zeit, zu der das Gesuch um unentgeltliche Rechtspflege gestellt wird (BGE 133 III 614 E. 5; 129 I 129 E. 2.3.1 S. 135 f.). Dabei hat das Gericht lediglich zu prüfen, ob der vom Bedürftigen verfolgte Rechtsstandpunkt im Rahmen des sachlich Vertretbaren liegt bzw. nicht von vornherein unbegründet erscheint (BGE 119 III 113 E. 3a S. 115).
3. Der Beschwerdeführer rügt, die Vorinstanz habe seine Rechtsbegehren zu Unrecht als aussichtslos bezeichnet. Es lägen gute und sogar überwiegende Gründe vor, die Aberkennungsklage als gemäss Art. 83 Abs. 2 SchKG fristgerecht gerichtlich anhängig gemacht zu beurteilen. In diesem Zusammenhang stellten sich komplexe, noch nicht ausreichend geklärte Rechtsfragen, die eine klare Antwort im Rahmen einer nur summarischen Prüfung der Erfolgsaussichten nicht erlaubten. Es könne im konkreten Fall nicht davon gesprochen werden, dass im Hauptprozess von vornherein kaum ernsthafte Erfolgsaussichten bestünden. Ebenso habe die Vorinstanz zu Unrecht erkannt, die Rechtsbegehren des Beschwerdeführers könnten (in vollem Umfang) nicht als negative Feststellungsklage im Sinne von Art. 85a SchKG entgegengenommen werden.
3.1 Nach den unbestrittenen vorinstanzlichen Feststellungen reichte der Beschwerdeführer am 29. Dezember 2010 beim Vermittleramt Werdenberg eine Aberkennungsklage betreffend die streitbetroffene Forderung und das strittige Pfandrecht ein. Mit Eingabe an das Vermittleramt vom 5. Januar 2011 zog er die Klage wieder zurück mit dem Hinweis, gemäss Art. 198 der am 1. Januar 2011 in Kraft getretenen Schweizerischen Zivilprozessordnung (ZPO) entfalle bei Aberkennungsklagen das vorgängige Schlichtungsverfahren; damit fehle es seit diesem Zeitpunkt an der sachlichen Zuständigkeit des Vermittleramtes; der Klagerückzug erfolge deshalb angebrachtermassen und er werde die Klage "innert der Nachfrist von 20 Tagen (Art. 63 Abs. 1 und 3 ZPO i.V.m. Art. 83 Abs. 2 SchKG) direkt beim Kreisgericht" einreichen. Am 25. Januar 2011 reichte der Beschwerdeführer in der Folge beim Kreisgericht Werdenberg-Sarganserland eine gleichlautende Aberkennungsklage ein.
Unbestritten ist ferner, dass der Rechtsöffnungsentscheid am 25. November 2010 zugestellt wurde und die 20-tägige Frist für die Aberkennungsklage nach Art. 83 Abs. 2 SchKG nach Ablauf der kantonalrechtlichen Rekursfrist zur Anfechtung desselben am 7. Dezember 2010 zu laufen begann und unter Berücksichtigung der Betreibungsferien am 5. Januar 2011 endete. Sodann ist auch nicht strittig, dass der Beschwerdeführer die Klagefrist mit seiner Eingabe vom 29. Dezember 2010 zunächst wahrte. Umstritten und zu prüfen ist dagegen, ob die Vorinstanz den Standpunkt des Beschwerdeführers zu Recht als nicht vertretbar beurteilte, wonach der Beschwerdeführer nach dem Klagerückzug eine Nachfrist habe beanspruchen können und die Verwirkungsfrist nach Art. 83 Abs. 2 SchKG gewahrt habe, indem er die Klage am 25. Januar 2011 beim Kreisgericht neu einreichte.
3.2 Nach Ansicht der Vorinstanz in ihrer Hauptbegründung kann sich der Beschwerdeführer bei seinem Vorgehen nicht auf Art. 63 ZPO stützen, um die Wahrung der Klagefrist mit (erneuter) Einreichung der Aberkennungsklage am 25. Januar 2011 zu begründen. Nach Art. 404 ZPO gelte für Verfahren, die bei Inkrafttreten der ZPO "rechtshängig" seien, das bisherige Verfahrensrecht bis zum Abschluss vor der betroffenen Instanz. Nach herrschender Lehre bestimme sich der Begriff der Rechtshängigkeit im Sinne dieser Bestimmung nach neuem Recht, also nach Art. 62 ZPO. Danach sei vorliegend davon auszugehen, dass am 29. Dezember 2010 die Rechtshängigkeit im Sinne von Art. 404 ZPO eingetreten sei. Auf die beim Vermittleramt eingereichte Klage sei damit kantonales Prozessrecht anwendbar, was zur Folge habe, dass sich der Beschwerdeführer nicht auf Art. 63 ZPO berufen könne.
Die Erstinstanz kam - für den Fall, dass sich der Begriff der Rechtshängigkeit im Sinne von Art. 404 ZPO nach Art. 62 ZPO bestimme - zum gleichen Schluss, d.h. zur Nichtanwendbarkeit des neuen Prozessrechts und namentlich von Art. 63 ZPO. Sie hielt jedoch dafür, dass aufgrund der "verständlichen Verunsicherung" sowohl bei amtlichen Stellen wie auch bei Rechtsvertretern angesichts der gesetzlichen Unklarheit bezüglich der Übergangsregelung in Art. 404 Abs. 1 ZPO ein Nichteintretensentscheid in keiner Weise gerechtfertigt scheine.
Der Beschwerdeführer rügt, die Vorinstanz habe sich in ihrer Hauptbegründung bei der Frage, nach welchem Recht sich die Rechtshängigkeit im Sinne von Art. 404 Abs. 1 ZPO beurteile, nicht mit der gewichtigen Lehrmeinung von SUTTER-SOMM/SEILER (in: Kommentar zur Schweizerischen Zivilprozessordnung, Thomas Sutter-Somm und andere [Hrsg.], 2010, N. 8 zu Art. 404 ZPO) auseinandergesetzt, nach der sich der Begriff der Rechtshängigkeit gemäss bisherigem kantonalem Prozessrecht bestimme. Zudem spreche auch der Wortlaut des deutschen Gesetzestextes ("bei" Inkrafttreten dieses Gesetzes rechtshängig "sind") und das Zusammenspiel der Absätze 1 und 2 von Art. 404 ZPO gegen die Auslegung der Vorinstanz. Auch der Grundsatz, dass neues Verfahrensrecht sofort und uneingeschränkt anzuwenden sei, wenn die Kontinuität des materiellen Rechts dadurch nicht gefährdet werde (BGE 115 II 97 E. 2c S. 101), spreche für eine einschränkende Auslegung von Art. 404 Abs. 1 ZPO. Die Vorinstanz übergehe auch, dass zum massgeblichen bisherigen Verfahrensrecht insbesondere auch die Bestimmung von Art. 32 aAbs. 3 SchKG gehört habe, nach der eine neue Klagefrist von gleicher Dauer beginne, wenn eine Klage nach diesem Gesetz (SchKG) wegen Unzuständigkeit des Gerichts vom Kläger zurückgezogen oder durch Urteil zurückgewiesen worden sei (vgl. zu dieser Bestimmung BGE 130 III 515 E. 4 S. 517 f.; s. auch zu einer allfälligen analogen Anwendung von aArt. 139 OR auf die Klagefrist nach Art. 83 Abs. 2 SchKG: BGE 109 III 49 und BGE 136 III 545 E. 3.1). Die Gesetzesauslegung der Vorinstanz käme auch einer Handhabung formeller Vorschriften mit übertriebener Schärfe gleich, die durch keine schutzwürdigen Interessen gerechtfertigt sei. Der Beschwerdeführer würde nach der Vorinstanz nämlich dafür bestraft, dass er aus prozessökonomischen Gründen nicht auf der Durchführung des fristgerecht anbegehrten Schlichtungsverfahrens beharrt habe, das der Gesetzgeber in Art. 198 ZPO bei Aberkennungsklagen entfallen lassen habe, weil er es als unzweckmässig und nutzlos betrachtet habe.
3.3 Die Vorinstanz erwog in einer Alternativbegründung, der Beschwerdeführer könne sich auch nicht auf Art. 63 ZPO berufen, wenn davon ausgegangen werde, der Begriff der Rechtshängigkeit in Art. 404 ZPO bestimme sich nach kantonalem Recht. In diesem Fall wäre mit der Einreichung des Schlichtungsbegehrens zwar eine Klageanhebung im Sinne des Bundesrechts zur Wahrung der Verwirkungsfrist erfolgt, jedoch noch keine Rechtshängigkeit eingetreten. Dies hätte zwar zur Folge, dass einerseits neues Prozessrecht anwendbar wäre. Andererseits würde dies der Anwendung von Art. 63 ZPO entgegenstehen, da diese Bestimmung gerade voraussetze, dass die erste Eingabe Rechtshängigkeit begründete. Zudem würde es in diesem Fall auch an der Voraussetzung des Klagerückzugs mangels Zuständigkeit fehlen, da der Beschwerdeführer das Vermittlungsgesuch vom 29. Dezember 2010 beim damals örtlich und sachlich zuständigen Vermittler gestellt habe.
Dagegen macht der Beschwerdeführer u.a. geltend, die Vorinstanz übergehe bezüglich der Anwendungsvoraussetzung von Art. 63 ZPO, dass die erste Eingabe Rechtshängigkeit begründe, dass mit Art. 62 ZPO die blosse Klageanhebung in der neu definierten Rechtshängigkeit aufgehe und Art. 63 ZPO demnach auch bei blosser Klageanhebung anwendbar sein müsse. Zudem macht er geltend, dass die sachliche Zuständigkeit des Vermittleramtes im massgebenden Zeitpunkt des (bei Nichtrückzug des Vermittlungsbegehrens zu ergehenden) Entscheids bzw. der Weisung des Friedensrichters oder im andernfalls massgebenden Zeitpunkt des angebrachtermassen erfolgenden Klagerückzugs aufgrund des damals anwendbaren neuen Prozessrechts nicht (mehr) bestand und der Beschwerdeführer damit berechtigt gewesen sei, seine Eingabe angebrachtermassen zurückzuziehen und innert neuer Frist direkt beim urteilenden Gericht anhängig zu machen.
Die Erstinstanz war anders als die Vorinstanz zum Schluss gekommen, wenn von der Anwendbarkeit der neuen ZPO auf das Verfahren ausgegangen werde, sei es, um dem Zweck von Art. 63 ZPO Rechnung zu tragen, gerechtfertigt, die Rechtshängigkeit nach den erleichterten Voraussetzungen von Art. 62 ZPO - und nicht nach bisherigem kantonalem Prozessrecht - zu beurteilen und diese Voraussetzung für die Anwendung von Art. 63 ZPO vorliegend als gegeben zu betrachten. Ansonsten käme es aufgrund des Übergangsrechts zu einer nicht gerechtfertigten unterschiedlichen Behandlung derselben Fälle, indem es je nachdem, ob das Vermittlungsgesuch 2010 oder anfangs 2011 gestellt wurde, zur Beurteilung nach verschiedenen Eintretensvoraussetzungen kommen würde, obwohl beide Male das gleiche Verfahrensrecht, nämlich die ZPO anwendbar wäre.
3.4 Nach dem Dargelegten stellen sich heikle Fragen, die im erstinstanzlichen Urteil unter ordentlicher, nicht bloss summarischer Prüfung im Ergebnis anders als durch die Vorinstanz beurteilt wurden. Auch wenn sich die Vorinstanz bei der Beantwortung der Frage, nach welchem Recht der Begriff der Rechtshängigkeit nach Art. 404 Abs. 1 ZPO zu bestimmen ist, auf die herrschende Lehre stützen kann (vgl. auch BGE 137 III 127 E. 2 S. 129), so kann sich der Beschwerdeführer für seine abweichende Auffassung doch auf die vorstehend zitierte Kommentarmeinung sowie einen weiteren von der Vorinstanz zitierten Autor (GUIDO E. URBACH, in: ZPO-Kommentar, Gehri/Kramer [Hrsg.], 2010, N. 3 zu Art. 404 ZPO) berufen. Sein sich daraus ergebender Standpunkt, auf das Verfahren sei die neue Schweizerische Zivilprozessordnung anwendbar, erscheint unter diesen Umständen zumindest als vertretbar und kann daher nicht nach bloss summarischer Prüfung als aussichtslos bezeichnet werden.
Wird angenommen, dass auf das Verfahren die ZPO anwendbar ist, stellt sich weiter die Frage, ob die Anwendungsvoraussetzung von Art. 63 ZPO, dass die Klage rechtshängig geworden ist, nach Art. 62 ZPO oder nach kantonalem Recht zu beurteilen ist. Die Erstinstanz und die Vorinstanz haben dies unterschiedlich beurteilt. Mit Blick auf den Zweck von Art. 63 ZPO (vgl. dazu DOMINIK INFANGER, in: Basler Kommentar, Zivilprozessordnung, 2010, N. 1 ff. zu Art. 63 ZPO; s. auch zur Vorgängerbestimmung von aArt. 139 OR: BGE 136 III 545 E. 3.1 S. 547 f.) hat dabei die Ansicht der Erstinstanz Einiges für sich, wonach die Voraussetzung der Rechtshängigkeit im vorliegenden Fall nach Art. 62 ZPO zu beurteilen ist, mithin die blosse Einreichung des Vermittlungsgesuchs als genügend anerkannt werden sollte, um die Rechtshängigkeit zu bewirken.
Zu beiden angesprochenen Fragen gibt das Gesetz keine klare Antwort. Nicht ohne weiteres auf der Hand liegt auch die Antwort auf die sich ferner stellende Frage, ob vorliegend nach Inkrafttreten der neuen ZPO ein Klagerückzug mangels Zuständigkeit erfolgt ist, wie er für die Anwendung von Art. 63 ZPO vorausgesetzt wird, obwohl die sachliche Zuständigkeit des Vermittleramts zur Zeit der Einreichung des Vermittlungsgesuchs noch gegeben war.
Bei dieser Sachlage ist festzuhalten, dass die sich stellenden Rechtsfragen nicht geeignet sind, im Rahmen der bloss summarischen Prüfung der Erfolgsaussichten der Aberkennungsklage beantwortet zu werden. Dies gilt unabhängig davon, wie es sich mit der vom Beschwerdeführer weiter aufgeworfenen und von der Vorinstanz nicht geprüften Frage verhält, ob vorliegend bei Geltung des bisherigen Verfahrensrechts eine Anwendung der Bestimmungen von aArt. 139 OR und Art. 32 aAbs. 3 SchKG in Betracht fallen könnte. Der Vorwurf des Beschwerdeführers, dass die Vorinstanz in Anbetracht der Rechtslage, die weder als eindeutig noch als unumstritten gelten kann, nicht von offensichtlicher Unzulässigkeit der Aberkennungsklage wegen Nichteinhaltens der Frist von Art. 83 Abs. 2 SchKG und deshalb auch nicht von einem aussichtslosen Klagebegehren hätte ausgehen dürfen, erscheint schon insoweit als begründet.
3.5 Selbst wenn die Hauptbegründung der Vorinstanz ohne weiteres zu tragen vermöchte, könnte der Vorinstanz im Weiteren nicht gefolgt werden, wenn sie die Möglichkeit einer Entgegennahme der Klage als negative Feststellungsklage im Sinne von Art. 85a SchKG vollumfänglich verneinte. Der Zweck der Feststellungsklage nach Art. 85a SchKG besteht insbesondere darin, Rechtsschutz zu bieten, wenn eine Aberkennungsklage nach Art. 83 Abs. 2 SchKG gerade nicht mehr möglich ist (vgl. Urteil 7B.76/2003 vom 2. Juni 2003 E. 3 in fine mit Hinweis; vgl. dazu ferner BGE 132 III 89 E. 1.1 S. 92 f.). Sie kann namentlich auch nach verpasster Aberkennungsklage angehoben werden (BODMER/BANGERT, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs, Bd. I, 2. Aufl. 2010, N. 8 zu Art. 85a SchKG) und eine zu spät eingereichte Aberkennungsklage ist als Feststellungsklage gemäss Art. 85a SchKG entgegenzunehmen (DANIEL STAEHELIN, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs, Bd. I, 2. Aufl. 2010, N. 32 zu Art. 83 SchKG). Das Bundesgericht hat zwar in einem von der Vorinstanz zitierten Entscheid erkannt, dass dem Drittpfandsteller die Klage nach Art. 85a SchKG nicht zur Verfügung steht, um den Nichtbestand des Pfandrechts feststellen zu lassen (BGE 129 III 197 E. 2). Möglich bleibt aber, dass der mit einer Aberkennungsklage angerufene Richter, die Klage wenigstens mit Bezug auf die strittige Forderung als Feststellungsklage im Sinne von Art. 85a SchKG entgegennimmt. Die Vorinstanz negierte die Erfolgsaussichten der Klage demzufolge auch insoweit zu Unrecht, als sie die Möglichkeit verneinte, dieselbe teilweise, d.h. hinsichtlich der beantragten Feststellung des Nichtbestands der Forderung, als Feststellungsklage im Sinne von Art. 85a SchKG entgegenzunehmen.
4. Nach dem Ausgeführten ist die Beschwerde im Eventualantrag gutzuheissen und die Sache zu erneutem Entscheid über das Gesuch um unentgeltliche Rechtspflege und Verbeiständung im Sinne der vorstehenden Erwägungen (Beurteilung der Erfolgsaussichten der Aberkennungsklage in der Sache selbst, der Bedürftigkeit und der Notwendigkeit der Verbeiständung) an die Vorinstanz zurückzuweisen.
Bei diesem Ausgang des Verfahrens ist von der Erhebung von Gerichtskosten abzusehen (Art. 66 Abs. 4 BGG). Hingegen hat der Kanton St. Gallen dem Beschwerdeführer für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, der angefochtene Entscheid der Präsidentin des Kantonsgerichts St. Gallen vom 1. Februar 2012 aufgehoben und die Sache zur Neubeurteilung an die Vorinstanz zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton St. Gallen hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird dem Beschwerdeführer und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 28. August 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Widmer