Sachverhalt:
A. Am 5. Juni 2012 reichte X._ beim Bezirksgericht Horgen eine Klage ein mit dem Antrag, die Betreibung auf Grundpfandverwertung Nr. xxxx des Betreibungsamtes Wädenswil sei gestützt auf Art. 85 SchKG aufzuheben. Zudem sei die auf den 14. Juni 2012 angesetzte Versteigerung im Sinne einer vorsorglichen Massnahme aufzuheben. Mit Urteil vom 11. Juni 2012 wies das Bezirksgericht das Begehren in der Sache ab und trat auf den Antrag um Erlass vorsorglicher Massnahmen nicht ein.
B. Das Obergericht des Kantons Zürich wies die von X._ dagegen erhobene Beschwerde am 13. August 2012 ab, soweit es darauf eintrat.
C. X._ ist mit Eingabe vom 17. September 2012 an das Bundesgericht gelangt. Der Beschwerdeführer verlangt sinngemäss die Aufhebung des obergerichtlichen Urteils und die Rückweisung der Sache an die Vorinstanz zur neuen Beurteilung. Zudem beantragt er die Aufhebung der Betreibung auf Grundpfandverwertung und die Nichtigerklärung der Versteigerung.
Das Gesuch des Beschwerdeführers um aufschiebende Wirkung wurde am 12. Oktober 2012 abgewiesen.
Es sind in der Sache keine Vernehmlassungen eingeholt worden.
Erwägungen:
1. 1.1 Dem kantonal letztinstanzlich ergangenen Entscheid über die Aufhebung einer Betreibung gemäss Art. 85 SchKG kommt rein vollstreckungsrechtliche Bedeutung zu (Art. 75 Abs. 1 BGG; Art. 72 Abs. 2 lit. a BGG; BGE 125 III 149 E. 2b/aa S. 150; Urteil 5P.138/2002 vom 31. Mai 2002 E. 1a, in: Pra 2002 Nr. 176 S. 942). Es handelt sich um eine vermögensrechtliche Angelegenheit. Die gesetzliche Streitwertgrenze ist erreicht (Art. 74 Abs. 1 lit. b BGG). Die Beschwerde in Zivilsachen ist damit von der Sache her gegeben. Als Eigentümer des zur Verwertung anstehenden Grundpfandes hat der Beschwerdeführer ein schutzwürdiges Interesse an der Anfechtung des obergerichtlichen Urteils (Art. 76 Abs. 1 lit. b BGG).
1.2 Mit der Beschwerde in Zivilsachen kann die Verletzung von Bundesrecht gerügt werden (Art. 95 BGG). Das Bundesgericht wendet das Recht in diesem Bereich von Amtes wegen und mit freier Kognition an (Art. 106 Abs. 1 BGG) an. In der Beschwerde ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG; BGE 134 III 102 E. 1.1 S. 104). Die Anrufung verfassungsmässiger Rechte ist ebenfalls zu begründen (Art. 106 Abs. 2 BGG), wobei hier das Rügeprinzip gilt (BGE 133 III 589 E. 2 S. 591). Allgemein gehaltene Einwände, die ohne erkennbaren Zusammenhang mit konkreten Entscheidgründen vorgebracht werden, bleiben unberücksichtigt (BGE 137 III 580 E. 1.3 S. 584). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 BGG).
2. Anlass zum vorliegenden Verfahren bildet das Begehren um Aufhebung einer Betreibung.
2.1 Beweist der Betriebene durch Urkunden, dass die Schuld samt Zinsen und Kosten getilgt oder gestundet ist, so kann er jederzeit beim Gericht des Betreibungsortes die Aufhebung oder Einstellung der Betreibung verlangen (Art. 85 SchKG). Aktivlegitimiert ist der Betriebene, aber auch der Drittpfandsteller und allenfalls der Ehegatte (BODMER/ BANGERT, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs, 2. Aufl. 2010, N. 32 zu Art. 85; BRÖNNIMANN, in: Kurzkommentar SchKG, 2009, N. 12 zu Art. 85, je mit Hinweisen; RUEDIN, L'annulation ou la suspension judiciaire de la poursuite [art. 85 LP], SJK Nr. 980, 1988, Ziff. 4.3, S. 5). Die materielle Rechtslage muss auf der Hand liegen, manifest sein. Die richterliche Kognition ist auf liquide Tatsachen und den Urkundenbeweis beschränkt. Zur Anwendung gelangt das Summarverfahren (Art. 251 lit. c ZPO; Botschaft zur ZPO, BBl. 2006 7221 Ziff. 5.17 S. 7349; vgl. aArt. 25 Ziff. 2 lit. c SchKG). Besitzt der Betriebene die notwendigen Urkunden nicht, so bleibt ihm die im ordentlichen Verfahren zu behandelnde Feststellungsklage (Urteil 5P.138/2002 vom 31. Mai 2002 E. 3a, in: Pra 2002 Nr. 176 S. 942).
2.2 Das Obergericht kam - im Wesentlichen unter Hinweis auf die erstinstanzliche Begründung - zum Schluss, dass sich im vorliegenden Fall der Bestand der Gegenforderung und die Verrechnungserklärung nicht klar aus Urkunden ergeben. Im Gegensatz zu Art. 120 OR verlange der hier massgebende Art. 85 SchKG den strikten Urkundenbeweis. Die im Beschwerdeverfahren erstmals eingereichten Schreiben an die Gegenpartei am 29. Februar 2012 und deren Antwort vom 2. März 2012 seien als neue Beweismittel gemäss Art. 326 Abs. 1 ZPO nicht mehr zuzulassen. Ferner gehe aus dem Schreiben vom 2. März 2012 explizit hervor, dass die zur Verrechnung gestellte Forderung von der Gegenpartei bestritten werde, womit das Begehren um Aufhebung der Betreibung ohnehin abzuweisen wäre.
2.3 Der Beschwerdeführer besteht nach wie vor auf dem Recht, selbst bestrittene Forderungen zur Verrechnung bringen zu können. Er beruft sich hierzu auf BGE 60 II 199. Dass der genannte Entscheid aufgrund eines Forderungsprozesses ergangen ist und auf schuldrechtlichen Grundsätzen beruht, blendet der Beschwerdeführer aus. Zwar zitiert er alsdann die im angefochtenen Entscheid dargelegten strengen Voraussetzungen der Verrechnung im Verfahren nach Art. 85 SchKG, ohne jedoch diese auf den konkreten Fall anzuwenden. Er besteht einzig darauf, sein Verrechnungsrecht in der Klage an die Erstinstanz begründet zu haben, was das Obergericht aufgrund einer Stellungnahme nach Art. 324 ZPO hätte zur Kenntnis nehmen und in sein Urteil einfliessen lassen müssen. Hier übergeht der Beschwerdeführer, dass es im Ermessen der Rechtsmittelinstanz liegt, eine Stellungnahme der Erstinstanz einzuholen (Art. 324 ZPO; JEANDIN, in: Code de procédure civile commenté, 2011, N. 1 zu Art. 324). Dass sich eine solche vorliegend aufgedrängt hätte, wird in der Beschwerde nicht dargelegt. Damit fallen auch die Ausführungen zum Replikrecht der Parteien ins Leere. Nicht gefolgt werden kann dem Beschwerdeführer zudem, wenn er dem Obergericht vorwirft, seine neuen Belege mit einem blossen Verweis auf Art. 326 ZPO verworfen zu haben. Das Obergericht hat dem Beschwerdeführer das Novenverbot im Rechtsmittelverfahren in verständlicher Art und Weise erläutert. Dass hier Bundesrecht falsch angewendet wurde, lässt sich mit der allgemein gehaltenen Anrufung der "Gerechtigkeitsmaxime bei der Wahrheitsfindung" nicht begründen. Insgesamt lassen die nur teilweise verständlichen Ausführungen des Beschwerdeführers die vom Obergericht bestätigte Abweisung der Aufhebungsklage nicht als bundesrechtswidrig erscheinen.
2.4 Schliesslich wirft der Beschwerdeführer dem Obergericht vor, sich mit seinem Antrag, die Versteigerung vom 4. Juni 2012 als nichtig zu erklären, nicht auseinander gesetzt zu haben. Zwar findet sich in der Beschwerde an das Obergericht vom 22. Juni 2012 ein solches Begehren. Indessen fehlt hierzu jede Begründung, wie das Obergericht zu Recht bemerkt. Der Vorwurf geht daher fehl. Nicht einzugehen ist ferner auf den allgemein gehaltenen Vorwurf der ungenügenden Begründung des angefochtenen Urteils und der Verletzung des Diskriminierungsverbotes. Hier genügt der Beschwerdeführer seiner Begründungspflicht in keiner Weise.
3. Nach dem Gesagten ist der Beschwerde kein Erfolg beschieden. Ausgangsgemäss trägt der Beschwerdeführer die Verfahrenskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 4. Februar 2013
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Levante