Sachverhalt:
A. A.a Das Betreibungsamt Hausen am Albis zeigte am 28. Mai 2010 in den Betreibungen auf Grundpfandverwertung Nr. 1 und 2 (Zahlungsbefehle vom 18. September 2008) den Beteiligten die Versteigerung der Liegenschaft A._ an und setzte das Steigerungsdatum auf den 12. August 2010 fest.
A.b Am 9. August 2010 erliess das Betreibungsamt eine Kostenrechnung (Zwischenrechnung) im laufenden Grundpfandverwertungsverfahren und setzte Gebühren und Auslagen (wie Publikationskosten, etc.) im Betrag von gesamthaft Fr. 12'001.95 fest.
B. B.a Gegen die Steigerungsanzeige vom 28. Mai 2010 (Lit. A.a) erhob X._ als Schuldner und Pfandeigentümer am 4. Juni 2010 betreibungsrechtliche Beschwerde. Er verlangte die Aufhebung bzw. Aufschiebung der Versteigerung bis zum endgültigen Entscheid über die strafrechtliche Beschlagnahme der betreffenden Liegenschaft und verwies auf die Beschlagnahmeverfügung der Staatsanwaltschaft III des Kantons Zürich vom 17. Oktober 2007. Das Bezirksgericht Affoltern als untere Aufsichtsbehörde in SchKG-Sachen wies die Beschwerde am 10. August 2010 ab bzw. bestätigte die Rechtmässigkeit der Versteigerung.
B.b X._ zog diesen Entscheid an das Obergericht des Kantons Zürich als obere kantonale Aufsichtsbehörde in SchKG-Sachen weiter, welches die Beschwerde am 21. Januar 2011 zufolge Gegenstandslosigkeit abschrieb. Grund dafür war der Beschluss des Bezirksgerichts Zürich (9. Abteilung) vom 18. November 2010, mit welchem die strafrechtliche Beschlagnahme der Liegenschaft aufgehoben wurde.
C. C.a Gegen die Kostenrechnung vom 9. August 2010 (Lit. A.b) gelangte X._ am 19. August 2010 ebenfalls an die untere Aufsichtsbehörde in SchKG-Sachen, welche das Beschwerdeverfahren bis zur Erledigung der Beschwerde gegen die Steigerungsanzeige (Lit. B) sistierte. Am 10. März 2011 nahm die untere Aufsichtsbehörde das Verfahren wieder auf und hiess die Beschwerde am 17. November 2011 gut. Die Kostenrechnung wurde auf Fr. 502.-- für Gebühren und auf Fr. 1'357.15 für Auslagen reduziert.
C.b Gegen diesen Kostenentscheid erhob das Betreibungsamt Beschwerde. Am 8. März 2012 hiess die obere kantonale Aufsichtsbehörde in SchKG-Sachen die Beschwerde gut und bestätigte die Kostenrechnung des Betreibungsamtes vom 9. August 2010.
D. Mit Eingabe vom 22. März 2012 hat X._ Beschwerde in Zivilsachen eingereicht. Der Beschwerdeführer beantragt, den Entscheid der oberen kantonalen Aufsichtsbehörde vom 8. März 2012 aufzuheben und den erstinstanzlichen Kostenentscheid zu bestätigen. Eventualiter sei die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Das Betreibungsamt beantragt die Abweisung der Beschwerde in Zivilsachen. Die obere kantonale Aufsichtsbehörde hat auf eine Vernehmlassung verzichtet.
Erwägungen:
1. 1.1 Angefochten ist ein Entscheid der oberen kantonalen Aufsichtsbehörde, welche die Beurteilung der betreibungsamtlichen Kostenrechnung in der Grundpfandverwertung zum Gegenstand hat. Entscheide kantonaler Aufsichtsbehörden in Schuldbetreibungs- und Konkurssachen unterliegen der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. a BGG i.V.m. Art. 19 SchKG). Sie ist unabhängig von einer gesetzlichen Streitwertgrenze gegeben (Art. 74 Abs. 2 lit. c BGG).
1.2 Die Beschwerde gegen den letztinstanzlichen Entscheid ist fristgemäss erhoben worden (Art. 75 Abs. 1, Art. 100 Abs. 2 lit. a BGG). Der Beschwerdeführer ist als Schuldner und Pfandeigentümer zur Beschwerde in Zivilsachen ohne weiteres legitimiert (Art. 76 Abs. 1 lit. b BGG).
1.3 Mit vorliegender Beschwerde kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Die Verletzung von verfassungsmässigen Rechten ist in der Beschwerdeschrift vorzubringen und zu begründen (Art. 106 Abs. 2 BGG), wobei das Rügeprinzip gilt (BGE 133 III 589 E. 2 S. 591).
2. 2.1 Die untere Aufsichtsbehörde hat erwogen, dass die Steigerungsanzeige des Betreibungsamtes vom 28. Mai 2010 ein Grundstück betraf, welches unter strafrechtlichem bzw. -prozessualem Beschlag stand. Folge davon sei (mit Hinweis auf § 83 ff. StPO/ZH), dass die Verwertung nach den Bestimmungen des kantonalen Rechts erfolge. Wenn das Betreibungsamt das Grundstück habe versteigern wollen, sei dies mit Art. 44 SchKG nicht vereinbar. Die im Hinblick bzw. Zusammenhang mit der Steigerung entstandenen Kosten seien ohne hinreichende Grundlage und daher entsprechend zu reduzieren.
2.2 Die obere kantonale Aufsichtsbehörde hat hingegen festgehalten, dass über die Frage, ob die Steigerungsanzeige rechtens sei, nicht frei entschieden werden könne. Die dagegen erhobene Beschwerde sei infolge Gegenstandslosigkeit abgeschrieben worden, so dass die Steigerungsanzeige im laufenden Vollstreckungsverfahren - ausser bei Nichtigkeit - nicht mehr in Frage gestellt werden könne. Die Vorinstanz hat geschlossen, dass es bei der Kostenrechnung des Betreibungsamtes bleibe.
3. Anlass zur vorliegenden Beschwerde gibt die Kostenrechnung (Zwischenrechnung) im Verfahren der Verwertung eines Grundpfandes. Der Beschwerdeführer macht geltend, dass die Versteigerung seiner Liegenschaft nicht rechtens gewesen sei, solange die strafrechtliche Beschlagnahme Bestand hatte. Er wendet sich gegen die Auffassung, dass die Steigerungsanzeige verbindlich beurteilt worden sei. Die Prüfung im Falle von nichtigen Verfügungen sei jederzeit und von Amtes wegen möglich, was das Obergericht übergangen habe. Die Zwischenrechnung des Betreibungsamtes für Kosten im Grundpfandverwertungsverfahren sei ohne Grund, und der angefochtene Entscheid verletze Art. 22, Art. 44 und Art. 68 SchKG.
3.1 Es steht fest, dass der Beschwerdeführer gegen die betreibungsamtliche (Zwischen-) Rechnung vom 9. August 2010 für Kosten im laufenden Grundpfandverwertungsverfahren betreibungsrechtliche Beschwerde erhoben hat. Umstritten ist zunächst, ob mit Beschwerde gegen die Kostenrechnung die Rechtmässigkeit des Verwertungsverfahrens überprüft werden kann.
3.1.1 Nach der Rechtsprechung ist Voraussetzung, um die Rechtmässigkeit der gebührenpflichtigen Verfügung zu überprüfen, dass die Beschwerde in der Gebührenfrage in einem Zeitpunkt geführt wird, in welchem die Beschwerde gegen die beanstandete Verfügung selbst noch nicht verspätet ist (BGE 68 III 72 S. 75). Vorliegend ist zu Recht unbestritten, dass der Beschwerdeführer mit Eingabe vom 19. August 2010 rechtzeitig Beschwerde gegen die Kostenrechnung vom 9. August 2010 erhoben hat, und diese Eingabe keine fristgemässe Beschwerde (Art. 17 Abs. 2 SchKG) gegen die Steigerungsanzeige vom 28. Mai 2010 darstellt.
3.1.2 Der Beschwerdeführer macht geltend, die betreffende Steigerungsanzeige sei noch überprüfbar, obwohl er dagegen am 4. Juni 2010 rechtzeitig Beschwerde erhoben habe. Nach den kantonalen Sachverhaltsfeststellungen und Akten wurde dieses Beschwerdeverfahren von der oberen Aufsichtsbehörde am 21. Januar 2011 infolge Gegenstandslosigkeit abgeschrieben. Mit dem Beschwerdeentscheid (Art. 21 SchKG) hat keine Prüfung in der Sache stattgefunden (LORANDI, Betreibungsrechtliche Beschwerde und Nichtigkeit, 2000, N. 16 und 17 zu Art. 21 SchKG). Folge davon ist, dass die Steigerungsanzeige vom 28. Mai 2010 bzw. der bestätigende Entscheid der unteren Aufsichtsbehörde vom 10. August 2010 für das laufende Vollstreckungsverfahren massgebend, d.h. in beschränkte materielle Rechtskraft getreten ist (BGE 133 III 580 E. 2.1 S. 582). Vorbehalten bleibt die Nichtigkeit einer Verfügung gemäss Art. 22 SchKG, welche von der Aufsichtsbehörde jederzeit festgestellt werden kann und muss, selbst nach eigenem Entscheid in der Sache (BGE 120 III 117 E. 2c S. 119; 121 III 142 E. 2 S. 144; Urteil 5A_597/2008 vom 27. Januar 2009 E. 3.3.4). Von diesen Grundsätzen ist die Vorinstanz ausgegangen, wenn sie zutreffend festgehalten hat, dass die Steigerungsanzeige vom 28. Mai 2010 im laufenden Vollstreckungsverfahren - ausser bei Nichtigkeit - nicht mehr in Frage gestellt werden könne.
3.2 Zu prüfen ist weiter, ob die Vorinstanz - wie der Beschwerdeführer rügt - die Nichtigkeit der Steigerungsanzeige vom 28. Mai 2010 übergangen habe, wenn sie die Anordnung der Versteigerung als verbindliche Grundlage für die Kostenrechnung erachtet hat.
3.2.1 Aus den Sachverhaltsfeststellungen geht hervor, dass die Staatsanwaltschaft III des Kantons Zürich die betreffende Liegenschaft mit Verfügung vom 17. Oktober 2007 gestützt auf §§ 83 und 96 Abs. 1 StPO/ZH (unter Mitteilung an das Grundbuchamt) beschlagnahmt hat. Weiter steht fest, dass die Beschlagnahme mit Urteil des Bezirksgerichts Zürich (9. Abteilung) vom 18. November 2010 aufgehoben wurde. Nach der Rechtsprechung können die Kantone aufgrund von Art. 44 SchKG die Beschlagnahme von Vermögen eines Angeschuldigten zur Deckung von Untersuchungs-, Prozess- und Strafvollzugskosten vorsehen (BGE 115 III 1 E. 3a und 4c S. 3 ff., betreffend § 83 StPO/ZH; BGE 131 III 652 E. 3.1 S. 656; vgl. Urteil 7B.106/2005 vom 30. September 2005 E. 3.3 und 3.5, in: ZBGR 2006 S. 339 ff.). Anhaltspunkte, dass die Verfügung der Staatsanwaltschaft vom 17. Oktober 2007 offensichtlich unzulässig (nichtig) und daher für die Zwangsvollstreckungsbehörden unwirksam gewesen wäre (BGE 131 III 652 E. 3.1 S. 656), bestehen nicht. Folge davon ist, dass die Regeln der Zwangsverwertung nach SchKG zurückzutreten haben (RIGOT, in: Commentaire romand, Poursuite et faillite, 2005, N. 16 f. zu Art. 44 SchKG, mit Hinw. auf BGE 93 III 89 E. 3 S. 93 betreffend Konfliktfall; ACOCELLA, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs, 2. Aufl. 2010, N. 1 und 2 zu Art. 44 SchKG mit weiteren Hinw.).
3.2.2 Im Kanton Zürich ist - worauf die untere Aufsichtsbehörde hingewiesen hat - das Verfahren nach §§ 83 ff. StPO/ZH massgebend. Danach kann die Untersuchungsbehörde die Gegenstände oder Vermögenswerte gegebenenfalls "vorzeitig verwerten" (§ 85 Abs. 2 StPO/ZH) oder "ordnet die Kanzlei des urteilenden Gerichts die amtliche Versteigerung der beschlagnahmten Vermögensstücke an" (§ 86 Abs. 1 StPO/ZH). Vorliegend war die Liegenschaft des Beschwerdeführers seit dem 17. Oktober 2007 von den Strafbehörden beschlagnahmt, als das Betreibungsamt (in den nachfolgend eingeleiteten Betreibungen) mit Steigerungsanzeige vom 28. Mai 2008 die betreibungsrechtliche Versteigerung der Liegenschaft in Gang gesetzt hat. Hierzu war das Betreibungsamt nicht befugt (ohne dass die Rechtslage nach dem Inkrafttreten der eidg. StPO am 1. Januar 2011 zu erörtern ist). Die offensichtlich fehlende sachliche Zuständigkeit der Zwangsvollstreckungsbehörden zum Erlass der Steigerungsanzeige am 28. Mai 2010 verletzt Vorschriften im Sinne von Art. 22 Abs. 1 SchKG und bedeutet die Nichtigkeit der betreffenden Verfügung (vgl. BGE 111 III 56 E. 3 S. 61; Urteil 7B.135/2004 vom 17. August 2004 E. 8; LORANDI, a.a.O., N. 23 zu Art. 22 SchKG). Die Vorinstanz hat die von Amtes wegen vorzunehmende Prüfung eines Nichtigkeitsgrundes übergangen. Zutreffend hat die untere Aufsichtsbehörde der Steigerungsanzeige im Ergebnis keine rechtliche Wirkung zugemessen.
3.3 Nach dem Dargelegten ergibt sich, dass die Steigerungsanzeige vom 28. Mai 2010, d.h. die gebührenpflichtige Verfügung nicht rechtswirksam ist. Dies hat Auswirkungen auf die Kostenrechnung vom 9. August 2010. Wohl trägt der Schuldner nach Art. 68 SchKG die Kosten. Allerdings begründen nichtige (oder aufgehobene) Verfügungen keinen Anspruch auf Gebühren und Entschädigungen für Auslagen. Dieser im Gebührentarif zum SchKG von 1971 ausdrücklich festgehaltene Grundsatz (Art. 16 aGebT SchKG; STRAESSLE/KRAUSKOPF, Erläuterungen zum Gebührentarif zum SchKG vom 7. Juli 1971, 1972, S. 24) ist auch nach Inkrafttreten der GebV SchKG vom 23. September 1996 (SR 281.35) massgebend (GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, Bd. I, 1999, N. 12 zu Art. 68 SchKG). Mit Bundesrecht ist daher nicht vereinbar, wenn die Vorinstanz angenommen hat, die Steigerungsanzeige vom 28. Mai 2010 biete eine verbindliche Grundlage zur Kostenrechnung vom 9. August 2010. Die Beschwerde ist begründet und antragsgemäss gutzuheissen, ohne dass auf die weiteren Rügen des Beschwerdeführers einzugehen ist. Es bleibt demnach beim Entscheid der unteren Aufsichtsbehörde, welche die im Hinblick bzw. Zusammenhang mit der Steigerung entstandenen Kosten mangels Grundlage (in unbestrittenem Umfang) reduziert hat.
4. Aus diesen Gründen ist der Beschwerde in Zivilsachen Erfolg beschieden. Der Entscheid der oberen kantonalen Aufsichtsbehörde ist aufzuheben, und in der Sache ist der Entscheid der unteren Aufsichtsbehörde vom 17. November 2011 zu bestätigen.
Ausgangsgemäss werden die Gerichtskosten dem in seinen Vermögensinteressen berührten Kanton Zürich auferlegt, da als Gemeinwesen im Sinne von Art. 64 Abs. 4 BGG derjenige Kanton gilt, dessen Aufsichtsbehörde geurteilt hat (Urteil 5A_732/2009 vom 4. Februar 2010 E. 4, nicht publ. in BGE 136 III 155); ebenso wird er entschädigungspflichtig (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. 1.1 Die Beschwerde in Zivilsachen wird gutgeheissen und das Urteil des Obergerichts des Kantons Zürich, II. Zivilkammer, als oberer kantonaler Aufsichtsbehörde über Schuldbetreibung und Konkurs vom 8. März 2012 wird aufgehoben.
1.2 Die mit Entscheid des Bezirksgerichts Affoltern als unterer Aufsichtsbehörde in SchKG-Sachen vom 17. November 2011 reduzierte Kostenrechnung des Betreibungsamtes vom 9. August 2010 (Gebühren Fr. 502.--, Auslagen Fr. 1'357.15) wird bestätigt.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Kanton Zürich auferlegt.
3. Der Kanton Zürich hat den Beschwerdeführer mit Fr. 1'000.-- zu entschädigen.
4. Dieses Urteil wird dem Beschwerdeführer, dem Betreibungsamt Hausen am Albis und dem Obergericht des Kantons Zürich, II. Zivilkammer, als oberer kantonaler Aufsichtsbehörde über Schuldbetreibung und Konkurs schriftlich mitgeteilt.
Lausanne, 12. November 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Levante