Sachverhalt:
A. A.a Die Eheleute A._ und B._ sind Stockwerkeigentümer mit Sonderrecht an einer 41⁄2 - Zimmerwohnung. Auch die Ehegatten C._ und D._ sind Stockwerkeigentümer mit Sonderrecht an einer 31⁄2 - Zimmerwohnung. Sie sind alle Mitglieder der Stockwerkeigentümergemeinschaft "E._" in G._.
In zwei von der Stockwerkeigentümergemeinschaft "E._" (nachfolgend Beschwerdegegnerin) eingeleiteten Betreibungen auf Grundpfandverwertung gegen A._ (Betreibung Nr. 1) und B._ (Betreibung Nr. 2) stellte die Beschwerdegegnerin am 26. Februar 2010 das Verwertungsbegehren an das Betreibungsamt F._. Zudem bestehen gegen die eingangs erwähnten vier Personen (nachfolgend Beschwerdeführer) mehrere Betreibungen auf Pfändung (von diversen Gläubigern, unter anderem auch der Beschwerdegegnerin). Darunter fallen vier Betreibungen, in denen das Betreibungsamt mit Verfügung vom 25. März 2010 die bereits ausgestellten Verlustscheine wieder aufhob. In diesen vier Betreibungen sowie in den übrigen Betreibungsverfahren pfändete das Betreibungsamt am 21. und 31. Mai 2010 die Stockwerkeigentumsanteile der Beschwerdeführer. Es bildeten sich in der Folge die Gläubigergruppen Nr. 3 (gegen A._), Nr. 4 (gegen D._), Nr. 5 (gegen C._) und Nr. 6 (gegen B._).
A.b Mit "beschwerdefähiger Verfügung" vom 22. Juli 2010 kündigte das Betreibungsamt den Beschwerdeführern die Durchführung der Schätzung ihrer Stockwerkeigentumsanteile auf den 26. August 2010, 09.00 Uhr, an. Es hielt fest, die angezeigte "Verkehrswert-Schätzung" betreffe die beiden Betreibungen Nr. 1 und 2 auf Grundpfandverwertung sowie die Betreibungen auf Pfändung der Gläubigergruppen Nr. 3, 4, 5 und 6.
B. B.a Gegen diese "beschwerdefähige Verfügung" gelangten die Beschwerdeführer am 2. August 2010 an das Bezirksgericht Dielsdorf als untere Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen und verlangten deren Aufhebung. Zudem beantragten sie die Feststellung, dass gegen sie kein Pfändungs- beziehungsweise Konkursverfahren im Fortsetzungsstadium hängig sei sowie dass sie über kein verwertbares Vermögen verfügten und die Mitteilung des Betreibungsamts vom 25. März 2010, in der es die vier Verlustscheine aufhob, gegenstandslos sei.
B.b Mit Beschluss vom 7. September 2010 trat das Bezirksgericht auf die Beschwerde nicht ein, da die Ankündigung der Schätzung vom 22. Juli 2010 eine blosse Mitteilung und keine Verfügung darstelle. Es auferlegte den Beschwerdeführern wegen mutwilliger Prozessführung eine Busse von je Fr. 250.-- und eine Gerichtsgebühr von Fr. 500.--, beides unter solidarischer Haftbarkeit.
B.c Dagegen gelangten die Beschwerdeführer mit Rekurs vom 17. September 2010 an das Obergericht des Kantons Zürich als obere Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen. Sie verlangten Einsicht in die vom Bezirksgericht eingeholte Beschwerdeantwort der Beschwerdegegnerin und in die Vernehmlassung des Betreibungsamts sowie die Einräumung einer Frist zur Beschwerdeergänzung (Ziff. 2 der Rekursbegehren). Weiter beantragten sie die Aufhebung des Beschlusses des Bezirksgerichts und die Anordnung, wonach ihre Stockwerkeinheiten nicht zu besichtigen und keine Verkehrswertschätzung durchzuführen sei (Ziff. 3 der Rekursbegehren). Schliesslich forderten sie, es sei festzustellen, dass sie über kein verwertbares Vermögen verfügten (Ziff. 4 der Rekursbegehren) und das bezirksgerichtliche Verfahren kostenlos sei; zudem seien die erhobenen Bussen aufzuheben (Ziff. 5 der Rekursbegehren).
B.d Mit Beschluss vom 29. Oktober 2010 hiess das Obergericht den Rekurs teilweise gut und hob den Beschluss des Bezirksgerichts insoweit auf, als es die auferlegten Bussen von je Fr. 250.-- ohne solidarische Haftbarkeit der Beschwerdeführer anordnete (Ziff. 1 des Dispositivs). Im Übrigen wies es den Rekurs ab (Ziff. 3 des Dispositivs) und trat auf den Rekursantrag Ziff. 4 auf Feststellung, wonach die Beschwerdeführer über kein verwertbares Vermögen verfügten, nicht ein (Ziff. 2 des Dispositivs). Es erhob für das Rekursverfahren keine Kosten und sprach keine Entschädigungen zu (Ziff. 4 des Dispositivs).
B.e Eine von den Beschwerdeführern am 11. November 2010 dagegen erhobene Beschwerde in Zivilsachen hiess das Bundesgericht wegen Verletzung des Replikrechts der Beschwerdeführer teilweise gut, soweit es darauf eintrat. Es hob die Dispositivziff. 1, 3 und 5 des obergerichtlichen Beschlusses vom 29. Oktober 2010 auf und wies die Angelegenheit insofern zu neuer Beurteilung an das Obergericht zurück (Urteil 5A_791/2010 vom 23. März 2011).
C. In der Folge nahm das Obergericht das Verfahren wieder auf und gewährte den Beschwerdeführern ihr Replikrecht.
Mit Beschluss vom 5. März 2012 hiess das Obergericht die Beschwerde teilweise gut und hob die vom Bezirksgericht auferlegten Bussen sowie die erhobene Gerichtsgebühr auf. Im Übrigen wies es die Beschwerde ab und bestätigte den bezirksgerichtlichen Beschluss.
D. Dem Bundesgericht beantragen die Beschwerdeführer in ihrer Beschwerde in Zivilsachen vom 16. März 2012, der obergerichtliche Beschluss vom 5. März 2012 sei aufzuheben (Ziff. 1 der Begehren) und die "beschwerdefähige Verfügung" vom 22. Juli 2010 des Betreibungsamts ersatzlos aufzuheben (Ziff. 2 der Begehren). Es sei festzustellen, dass sie über kein verwertbares Vermögen verfügten und die Mitteilung des Betreibungsamts vom 25. März 2010 (Aufhebung der ausgestellten Verlustscheine) demnach gegenstandslos sei (Ziff. 3 der Begehren). Mit Eingabe vom 19. März 2012 ergänzten die Beschwerdeführer ihre Beschwerde dahin gehend, als sie verlangten, es sei ihnen Einsicht in sämtliche Betreibungsakten zu gewähren.
Zudem ersuchen die Beschwerdeführer um aufschiebende Wirkung und stellen ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren.
Das Obergericht (Schreiben vom 20. März 2012) und die Beschwerdegegnerin (Schreiben vom 30. März 2012) haben auf eine Vernehmlassung zum Gesuch um aufschiebende Wirkung verzichtet. Das Betreibungsamt hat sich dazu nicht vernehmen lassen. Mit Verfügung vom 2. April 2012 hat das präsidierende Mitglied der II. zivilrechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.
Das Bundesgericht hat die Vorakten, in der Sache hingegen keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Entscheide der kantonalen Aufsichtsbehörden in Schuldbetreibungs- und Konkurssachen unterliegen unabhängig vom Streitwert der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. a und Art. 74 Abs. 2 lit. c BGG). Der Beschwerdeentscheid, mit dem das Obergericht als obere kantonale Aufsichtsbehörde (<ref-law>) den Nichteintretensentscheid der ersten Instanz in der Sache bestätigt hat, stellt einen Endentscheid im Sinne von <ref-law> dar. Die Beschwerde in Zivilsachen ist grundsätzlich zulässig.
1.2 Die Beschwerde ist zu begründen (<ref-law>). Es ist in gedrängter Form durch Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, welche Vorschriften und warum sie von der Vorinstanz verletzt worden sein sollen. Allgemein gehaltene Einwände, die ohne aufgezeigten oder erkennbaren Zusammenhang mit bestimmten Entscheidungsgründen vorgebracht werden, genügen nicht, da das Bundesgericht nicht gehalten ist, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen (<ref-ruling> E. 1.3 S. 584; <ref-ruling> E. 3.3 S. 60). Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und gehörig begründet wird (<ref-law>; <ref-ruling> E. 2.2 S. 246).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Wird eine Sachverhaltsfeststellung beanstandet, muss in der Beschwerdeschrift dargelegt werden, inwiefern diese Feststellung offensichtlich unrichtig und damit willkürlich (<ref-ruling> E. 2.2 S. 638) oder durch eine andere Rechtsverletzung im Sinne von <ref-law> zustande gekommen ist und inwiefern die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
1.4 Die Beschwerdeführer stellen in einem ersten Teil ihrer Beschwerde den Sachverhalt dar. Soweit ihre Darstellung vom obergerichtlich festgestellten Sachverhalt abweicht oder diesen ergänzt, unterlassen sie es jedoch, die obergerichtlichen Feststellungen im beschriebenen Sinn zu rügen. Darauf ist nicht einzutreten (vgl. E. 1.3 oben; <ref-ruling> E. 1.2 S. 511 f.).
2. 2.1 Die Beschwerdeführer verlangen in Ziff. 3 ihrer Anträge, es sei festzustellen, dass sie kein verwertbares Vermögen aufwiesen und demnach die Verfügung des Betreibungsamts vom 25. März 2010 (Aufhebung der Verlustscheine) gegenstandslos sei.
Das Obergericht trat in seinem (ersten) Entscheid vom 29. Oktober 2010 auf den Rekursantrag Ziff. 4 der Beschwerdeführer, es sei festzustellen, dass sie über kein verwertbares Vermögen verfügten, nicht ein (Ziff. 2 des obergerichtlichen Dispositivs; vgl. Lit. B.d oben). In der Beschwerde in Zivilsachen vom 11. November 2010 beantragten die Beschwerdeführer die Aufhebung des obergerichtlichen Entscheids mit Ausnahme von Dispositivziff. 2 (vgl. dazu Urteil 5A_791/2010 vom 23. März 2011 E. 1.2.2 sowie S. 3 der Beschwerde in Zivilsachen vom 11. November 2010). Gestützt darauf hat das Bundesgericht in seinem gutheissenden Entscheid vom 23. März 2011 einzig die Ziff. 1, 3 und 5 des obergerichtlichen Beschlusses aufgehoben. Die Frage des verwertbaren Vermögens (Ziff. 2 des obergerichtlichen Beschlusses vom 29. Oktober 2010) konnte demnach gar nicht mehr Gegenstand des zweiten (nach dem gutheissenden Bundesgerichtsentscheid wieder aufzunehmenden) obergerichtlichen Verfahrens bilden.
Auf Ziff. 3 der Anträge der Beschwerdeführer ist demnach nicht einzutreten.
2.2 Die Beschwerdeführer stellen mit ihrer ergänzenden Beschwerdeeingabe vom 19. März 2012 weiter das Begehren, es sei ihnen "Einsicht in sämtliche Betreibungsakten betreffend die Beschwerdeführer" zu gewähren. Handelt es sich demnach um ein Einsichtsgesuch nach <ref-law>, ist dieses an das zuständige Betreibungs- oder Konkursamt zu richten und ist das Bundesgericht dafür nicht zuständig. Darauf ist nicht einzutreten.
3. 3.1 Die Beschwerdeführer rügen eine Verletzung ihres Anspruchs auf rechtliches Gehör (<ref-law>). Das Obergericht habe ihren Einwand, die fraglichen Stockwerkeinheiten seien gar nicht mehr "verwertbar", weil unklar sei, wer überhaupt Eigentümer dieser Grundstücke sei, gar nicht geprüft.
3.2 Das rechtliche Gehör nach <ref-law> verlangt, dass die Behörde die Vorbringen der vom Entscheid in ihrer Rechtslage betroffenen Personen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich die betroffenen Personen über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen können. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 4.2 S. 355).
3.3 Die Beschwerde genügt den Anforderungen von <ref-law> für die Rüge der Verletzung von <ref-law> nicht (vgl. E. 1.2 oben). Im Übrigen wäre die Rüge auch unbegründet, hat sich doch das Obergericht sehr wohl zum Einwand der Beschwerdeführer geäussert: Es hat einerseits bekräftigt, dass Streitgegenstand einzig die Frage sei, ob das Bezirksgericht zu Unrecht mangels einer Verfügung nach <ref-law> nicht auf die Beschwerde eingetreten sei (Ziff. 4.3 f. des obergerichtlichen Beschlusses). Andererseits hat das Obergericht die Beschwerdeführer darauf hingewiesen, dass Ansprüche Dritter an den Stockwerkseinheiten im Widerspruchsverfahren nach <ref-law> zu klären seien (Ziff. 6.5 des obergerichtlichen Beschlusses).
4. 4.1 Das Obergericht ist im angefochtenen Beschluss davon ausgegangen, nach der Rückweisung durch das Bundesgericht sei für das (Rechtsmittel-) Verfahren vor dem Obergericht das neue Verfahrensrecht anwendbar. Die § 83 ff. des am 1. Januar 2011 in Kraft getretenen Gesetzes vom 10. Mai 2010 über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess (GOG; LS 211.1) würden auf <ref-law> verweisen. Damit jedoch den Beschwerdeführern keine Nachteile entstünden, richte sich das Novenrecht als auch die Möglichkeit einer Nachfrist zur Einreichung einer Replik noch nach altem Verfahrensrecht.
4.2 Die Beschwerdeführer machen geltend, das Obergericht hätte als Rückweisungsinstanz erneut nach altem Verfahrensrecht entscheiden müssen. Sie sehen durch dieses Vorgehen diverse Verfassungs- und Gesetzesbestimmungen verletzt (<ref-law>, <ref-law>, <ref-law>, Art. 6 Ziff. 1 EMRK).
4.3 Wie die Beschwerdeführer vor Bundesgericht selbst ausführen, ist nicht ersichtlich, inwiefern die Frage des gewählten Verfahrensrechts vor Obergericht entscheidwesentlich gewesen sein soll (vgl. zum anwendbaren Verfahrensrecht nach einem Rückweisungsentscheid Urteil 4A_641/2011 vom 27. Januar 2012 E. 2.2). Dies umso mehr, als das Obergericht wie erwähnt für gewisse Fragen zugunsten der Beschwerdeführer noch altes Verfahrensrecht angewendet hat.
Demnach fehlt es den Beschwerdeführern für die Beurteilung der insoweit erhobenen Rügen von vornherein an einem schutzwürdigen Interesse. Zur Beantwortung bloss theoretischer Fragen ist die Beschwerde nicht gegeben (<ref-law>; <ref-ruling> E. 7.2 S. 525). Darauf ist nicht einzutreten.
5. 5.1 Das Bezirksgericht trat auf die Beschwerde nicht ein, weil die Ankündigung der Schätzung keine anfechtbare Verfügung nach <ref-law> darstelle. Die Schätzungsankündigung habe reinen Mitteilungscharakter und wirke nicht weiter auf das Betreibungsverfahren ein. Das Obergericht hat diesen Entscheid bestätigt und sinngemäss darauf verwiesen (zur Zulässigkeit solcher Verweise vgl. <ref-ruling> E. 2c S. 34). Zusätzlich hat es ausgeführt, mit der Schätzungsankündigung werde einzig das Verfahren durch die von Gesetzes wegen vorgesehene Schätzung fortgeführt.
5. 5.1 Das Bezirksgericht trat auf die Beschwerde nicht ein, weil die Ankündigung der Schätzung keine anfechtbare Verfügung nach <ref-law> darstelle. Die Schätzungsankündigung habe reinen Mitteilungscharakter und wirke nicht weiter auf das Betreibungsverfahren ein. Das Obergericht hat diesen Entscheid bestätigt und sinngemäss darauf verwiesen (zur Zulässigkeit solcher Verweise vgl. <ref-ruling> E. 2c S. 34). Zusätzlich hat es ausgeführt, mit der Schätzungsankündigung werde einzig das Verfahren durch die von Gesetzes wegen vorgesehene Schätzung fortgeführt.
5.2 5.2.1 Gemäss <ref-law> sind Anfechtungsobjekt der betreibungsrechtlichen Beschwerde - mit Ausnahme von <ref-law> - Verfügungen eines Vollstreckungsorgans.
Unter einer Verfügung gemäss <ref-law> ist eine bestimmte behördliche Handlung in einem konkreten zwangsvollstreckungsrechtlichen Verfahren zu verstehen, die in Ausübung amtlicher Funktion ergeht. Die Verfügung muss die fragliche Zwangsvollstreckung in rechtlicher Hinsicht beeinflussen. Sie zeitigt Aussenwirkungen und muss bezwecken, das Zwangsvollstreckungsverfahren voranzutreiben oder abzuschliessen. Ob eine Verfügung vorliegt, entscheidet sich nach ihrem Gehalt, nicht nach ihrem Wortlaut oder Erscheinungsbild. Keine Verfügungen sind namentlich blosse Meinungsäusserungen oder Mitteilungen über die künftigen Absichten des Vollstreckungsorgans (<ref-ruling> E. 1.1 S. 401; <ref-ruling> E. 1c S. 157 f.; <ref-ruling> E. 1 S. 93 f.; Urteil 5A_308/2011 vom 8. September 2011 E. 1.1 mit Hinweisen, in: Pra 2012 S. 227).
5.2.2 Die Beschwerdeführer beschränken sich in ihrer Beschwerde einzig auf den Hinweis, das Schreiben vom 22. Juli 201 sei als beschwerdefähige Verfügung gekennzeichnet und enthalte eine Rechtsmittelbelehrung. Aus "rein formeller Sicht" stelle es damit eine Verfügung dar.
5.2.3 Darauf kommt es aber wie erwähnt gerade nicht an (vgl. auch Urteil 7B.147/2004 vom 9. August 2004 E. 1.2). Mit den übrigen Ausführungen und Gründen des Obergerichts setzten sich die Beschwerdeführer hingegen nicht auseinander. Mangels Auseinandersetzung mit dem angefochtenen Entscheid ist darauf nicht einzutreten (<ref-law>; vgl. E. 1.2 oben).
5.2.3 Darauf kommt es aber wie erwähnt gerade nicht an (vgl. auch Urteil 7B.147/2004 vom 9. August 2004 E. 1.2). Mit den übrigen Ausführungen und Gründen des Obergerichts setzten sich die Beschwerdeführer hingegen nicht auseinander. Mangels Auseinandersetzung mit dem angefochtenen Entscheid ist darauf nicht einzutreten (<ref-law>; vgl. E. 1.2 oben).
5.3 Das Obergericht hat als Eventualbegründung dargelegt, weshalb selbst bei Annahme einer anfechtbaren Verfügung die dagegen erhobene Beschwerde unbegründet wäre.
Kann auf die Einwände gegen die Hauptbegründung (fehlendes Anfechtungsobjekt) nicht eingetreten werden, erübrigt es sich, auf die Vorbringen des Beschwerdeführers gegen die obergerichtliche Eventualbegründung noch einzugehen (Ziff. 21 f. der Beschwerde).
6. 6.1 Schliesslich hat das Obergericht "vorfrageweise" auch die Frage der Nichtigkeit der Verfügung vom 25. März 2010 geprüft, mit der das Betreibungsamt die ausgestellten Verlustscheine aufgehoben hatte. Das Obergericht hat mit ausführlicher Begründung dargelegt, dass die Verfügung vom 25. März 2010 zwar mangelhaft sei, aber an keinem schweren Mangel leide, der die Nichtigkeit herbeiführen würde. Demnach sei die Verfügung einzig anfechtbar, wobei die Frist zur Anfechtung vorliegend verstrichen sei.
6.2 Die Beschwerdeführer begnügen sich in ihrer Beschwerde damit, der obergerichtlichen Begründung ihre eigene Betrachtungsweise entgegen zu halten. Eine Auseinandersetzung mit dem angefochtenen (und ausführlich begründeten) Entscheid fehlt. Darauf ist nicht einzutreten (<ref-law>; vgl. E. 1.2 oben; <ref-ruling> E. 6 S. 153).
7. Aus den dargelegten Gründen ist auf die Beschwerde nicht einzutreten. Die Beschwerdeführer werden unter solidarischer Haftung kostenpflichtig (<ref-law>). Der Beschwerdegegnerin ist kein entschädigungspflichtiger Aufwand entstanden (<ref-law>). Dem Gesuch der Beschwerdeführer um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren kann nicht entsprochen werden, zeigen doch die vorstehenden Erwägungen auf, dass ihre Beschwerde von Beginn weg keinen Erfolg haben konnte (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Das Gesuch der Beschwerdeführer um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wird abgewiesen.
3. Die Gerichtskosten von insgesamt Fr. 1'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zürich, II. Zivilkammer, als obere kantonale Aufsichtsbehörde über Schuldbetreibung und Konkurs, schriftlich mitgeteilt.
Lausanne, 21. Juni 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Bettler