Sachverhalt:
A. A.a Die Eheleute A._ und B._ sind Stockwerkeigentümer mit Sonderrecht an einer 41⁄2 - Zimmerwohnung. Auch die Ehegatten D._ und C._ sind Stockwerkeigentümer mit Sonderrecht an einer 31⁄2 - Zimmerwohnung. Sie sind alle Mitglieder der Stockwerkeigentümergemeinschaft "E._" in G._.
In zwei von der Stockwerkeigentümergemeinschaft "E._" (nachfolgend Beschwerdegegnerin) eingeleiteten Betreibungen auf Grundpfandverwertung gegen A._ (Betreibung Nr. 1) und B._ (Betreibung Nr. 2) stellte die Beschwerdegegnerin am 26. Februar 2010 das Verwertungsbegehren an das Betreibungsamt F._.
Zudem bestehen gegen die eingangs erwähnten vier Personen (nachfolgend Beschwerdeführer) mehrere Betreibungen auf Pfändung (von diversen Gläubigern, unter anderem auch der Beschwerdegegnerin). Darunter fallen vier Betreibungen, in denen das Betreibungsamt mit Verfügung vom 25. März 2010 die bereits ausgestellten Verlustscheine wieder aufhob. In diesen vier Betreibungen sowie in den übrigen Betreibungsverfahren pfändete das Betreibungsamt am 21. und 31. Mai 2010 die Stockwerkeigentumsanteile der Beschwerdeführer. Es bildeten sich in der Folge die Gläubigergruppen Nr. 3 (gegen A._), Nr. 4 (gegen D._), Nr. 5 (gegen C._) und Nr. 6 (gegen B._).
A.b Mit "beschwerdefähiger Verfügung" vom 22. Juli 2010 kündigte das Betreibungsamt den Beschwerdeführern die Durchführung der Schätzung ihrer Stockwerkeigentumsanteile auf den 26. August 2010, 09.00 Uhr, an. Es hielt fest, die angezeigte "Verkehrswert-Schätzung" betreffe die beiden Betreibungen Nr. 1 und 2 auf Grundpfandverwertung sowie die Betreibungen auf Pfändung der Gläubigergruppen Nr. 3, 4, 5 und 6.
B. B.a Gegen diese "beschwerdefähige Verfügung" gelangten die Beschwerdeführer am 2. August 2010 an das Bezirksgericht Dielsdorf als untere Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen und verlangten deren Aufhebung. Zudem beantragten sie die Feststellung, dass gegen sie kein Pfändungs- beziehungsweise Konkursverfahren im Fortsetzungsstadium hängig sei sowie dass sie über kein verwertbares Vermögen verfügten und die Mitteilung des Betreibungsamtes vom 25. März 2010, in der es die vier Verlustscheine aufhob, gegenstandslos sei.
B.b Mit Verfügung vom 16. August 2010 forderte das Bezirksgericht das Betreibungsamt zur ("obligatorischen") Vernehmlassung und die Beschwerdegegnerin zur Einreichung einer Beschwerdeantwort auf.
Die Beschwerdegegnerin und das Betreibungsamt reichten jeweils am 27. August 2010 eine Beschwerdeantwort beziehungsweise Vernehmlassung ein.
B.c In seinem Beschluss vom 7. September 2010 trat das Bezirksgericht auf die Beschwerde nicht ein, da die Ankündigung der Schätzung vom 22. Juli 2010 eine blosse Mitteilung und keine Verfügung darstelle. Es auferlegte den Beschwerdeführern wegen mutwilliger Prozessführung eine Busse von je Fr. 250.-- und eine Gerichtsgebühr von Fr. 500.--, beides unter solidarischer Haftbarkeit.
C. Dagegen gelangten die Beschwerdeführer mit Rekurs vom 17. September 2010 an das Obergericht des Kantons Zürich als obere Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen. Sie verlangten Einsicht in die Beschwerdeantwort der Beschwerdegegnerin beziehungsweise in die Vernehmlassung des Betreibungsamtes und die Einräumung einer Frist zur Beschwerdeergänzung. Weiter beantragten sie die Aufhebung des Beschlusses des Bezirksgerichts und die Anordnung, wonach ihre Stockwerkeinheiten nicht zu besichtigen und keine Verkehrswertschätzung durchzuführen sei. Zudem sei festzustellen, dass sie über kein verwertbares Vermögen verfügten und das bezirksgerichtliche Verfahren kostenlos sei.
Mit Beschluss vom 29. Oktober 2010 hiess das Obergericht den Rekurs teilweise gut und hob den Entscheid des Bezirksgerichts insoweit auf, als es die auferlegte Busse von je Fr. 250.-- ohne solidarische Haftbarkeit der Beschwerdeführer anordnete (Ziff. 1 des Dispositivs). Im Übrigen wies es den Rekurs ab (Ziff. 3 des Dispositivs) und trat auf den Antrag auf Feststellung, wonach die Beschwerdeführer über kein verwertbares Vermögen verfügten, nicht ein (Ziff. 2 des Dispositivs). Es erhob für das Rekursverfahren keine Kosten und sprach keine Entschädigungen zu (Ziff. 4 des Dispositivs). Auf das Gesuch um unentgeltliche Rechtspflege trat es nicht ein und wies das Gesuch um Beiordnung eines Anwalts ab (Ziff. 5 des Dispositivs).
D. Dem Bundesgericht beantragen die Beschwerdeführer in ihrer Beschwerde vom 11. November 2010 die Aufhebung des obergerichtlichen Beschlusses mit Ausnahme der Dispositivziff. 3 sowie die "Kassation" der Verfügung des Betreibungsamtes vom 25. März 2010 betreffend Aufhebung der Verlustscheine. Zudem stellen sie für das bezirksgerichtliche, obergerichtliche und bundesgerichtliche Verfahren ein Gesuch um Beiordnung ihres Anwalts als unentgeltlicher Rechtsvertreter und verlangen die Gewährung der aufschiebenden Wirkung für das bundesgerichtliche Verfahren.
Die Beschwerdegegnerin beantragt die Abweisung des Gesuchs um aufschiebende Wirkung (Vernehmlassung vom 25. November 2010). Das Obergericht hat auf eine Vernehmlassung verzichtet und das Betreibungsamt hat sich nicht vernehmen lassen. Mit Verfügung vom 26. November 2010 hat die Abteilungspräsidentin der Beschwerde die aufschiebende Wirkung zuerkannt.
In der Sache haben das Obergericht und das Betreibungsamt auf eine Vernehmlassung verzichtet. Die Beschwerdegegnerin schliesst in ihrer Vernehmlassung vom 21. Februar 2011 sinngemäss auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Entscheide der kantonalen Aufsichtsbehörden in Schuldbetreibungs- und Konkurssachen unterliegen unabhängig vom Streitwert der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. a und Art. 74 Abs. 2 lit. c BGG). Der Beschwerdeentscheid, mit dem die obere kantonale Aufsichtsbehörde (<ref-law>) den Nichteintretensentscheid der ersten Instanz in der Sache bestätigt hat, stellt einen Endentscheid im Sinne von <ref-law> dar (<ref-ruling> E. 4.1.1 S. 480). Die Beschwerde in Zivilsachen ist grundsätzlich zulässig.
1. 1.1 Entscheide der kantonalen Aufsichtsbehörden in Schuldbetreibungs- und Konkurssachen unterliegen unabhängig vom Streitwert der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. a und Art. 74 Abs. 2 lit. c BGG). Der Beschwerdeentscheid, mit dem die obere kantonale Aufsichtsbehörde (<ref-law>) den Nichteintretensentscheid der ersten Instanz in der Sache bestätigt hat, stellt einen Endentscheid im Sinne von <ref-law> dar (<ref-ruling> E. 4.1.1 S. 480). Die Beschwerde in Zivilsachen ist grundsätzlich zulässig.
1.2 1.2.1 Die Beschwerde muss ein Rechtsbegehren enthalten (<ref-law>). Da es sich bei der Beschwerde an das Bundesgericht um ein reformatorisches Rechtsmittel handelt (<ref-law>), muss auch das Rechtsbegehren grundsätzlich reformatorisch gestellt werden. Ausnahmsweise genügt ein blosser Aufhebungsantrag, wenn das Bundesgericht im Falle der Gutheissung in der Sache nicht selbst entscheiden könnte, was regelmässig der Fall ist, wenn die Beschwerdeführer - wie vorliegend (Ziff. 4 - 9 der Beschwerde) - zur Hauptsache eine Verletzung des rechtlichen Gehörs rügen (Urteile 5A_359/2009 vom 4. August 2009 E. 1; 8C_241/2007 vom 9. Juni 2008 E. 1.3.2, in: Plädoyer 3/2009 S. 71 f.).
1.2.2 Die Beschwerdeführer beantragen vor Bundesgericht denn auch die Aufhebung des obergerichtlichen Entscheides mit Ausnahme der Ziff. 3 des Dispositivs. Aus der Beschwerdebegründung, die zur Interpretation der Rechtsbegehren beizuziehen ist (<ref-ruling> E. 1.2 S. 136), erhellt, dass die Beschwerdeführer die Aufhebung des obergerichtlichen Entscheides (und die Rückweisung) mit Ausnahme der Ziff. 2 und nicht der Ziff. 3 des obergerichtlichen Dispositivs verlangen.
Zudem kommt der Ziff. 4 des obergerichtlichen Dispositivs keine eigenständige Bedeutung zu und erübrigte sich insoweit im Falle der Gutheissung der Beschwerde eine Aufhebung und Rückweisung an das Obergericht (vgl. für die Kostenlosigkeit <ref-law> und für die Parteientschädigung Art. 62 Abs. 2 der Gebührenverordnung vom 23. September 1996 zum SchKG [GebV SchKG; SR 281.35]).
Von diesem Antrag auf Aufhebung (und Rückweisung) wäre insbesondere auch das Gesuch der Beschwerdeführer um Beiordnung ihres Anwalts als unentgeltlicher Rechtsbeistand für das kantonale Verfahren umfasst. Soweit sie diesbezüglich vor Bundesgericht (neben dem erwähnten kassatorischen Antrag) reformatorische Anträge stellen, ist darauf nicht einzutreten.
1.3 In der Beschwerde dürfen keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (<ref-law>). Neu sind Tatsachen und Beweismittel, die weder im vorangegangenen Verfahren vorgebracht noch von der Vorinstanz festgestellt wurden (<ref-ruling> E. 3.3.1 S. 364). Die Beschwerdeführer stützen sich in Ziff. 20 ff. ihrer Beschwerde auf Tatsachen und Beweismittel, die bereits anlässlich des obergerichtlichen Verfahrens Bestand hatten, aber nicht vorgebracht wurden (<ref-ruling> E. 4.4.3 S. 129). Diese sind unzulässig und unbeachtlich. Soweit sie in diesem Zusammenhang zudem Beweisanträge stellen, ist es nicht Aufgabe des Bundesgerichts, Beweise abzunehmen und Tatsachen festzustellen, über die sich das kantonale Sachgericht nicht ausgesprochen hat (<ref-ruling> E. 6.1 S. 214 f.). Darauf ist nicht einzutreten.
2. 2.1 Die Beschwerdeführer rügen hauptsächlich eine Verletzung ihres Replikrechts als Ausfluss ihres Anspruchs auf rechtliches Gehör.
2.2 Das Recht, angehört zu werden, ist formeller Natur. Dessen Verletzung führt ungeachtet der materiellen Begründetheit des Rechtsmittels zur Gutheissung der Beschwerde und zur Aufhebung des angefochtenen Entscheides (<ref-ruling> E. 2.6.1 S. 285). Diese Rüge ist deshalb vorweg zu behandeln.
2.2 Das Recht, angehört zu werden, ist formeller Natur. Dessen Verletzung führt ungeachtet der materiellen Begründetheit des Rechtsmittels zur Gutheissung der Beschwerde und zur Aufhebung des angefochtenen Entscheides (<ref-ruling> E. 2.6.1 S. 285). Diese Rüge ist deshalb vorweg zu behandeln.
2.3 2.3.1 Gemäss <ref-law> und Art. 6 Ziff. 1 EMRK haben die Parteien eines Gerichtsverfahrens Anspruch auf rechtliches Gehör. Diese Garantie umfasst auch das Recht, von den beim Gericht eingereichten Stellungnahmen Kenntnis zu erhalten und sich dazu äussern zu können (sog. Replikrecht: <ref-ruling> E. 2.1 S. 99). Die Wahrnehmung des Replikrechts setzt voraus, dass die fragliche Eingabe der Partei zugestellt wird. Das Bundesgericht hat wiederholt festgehalten, dass den Verfahrensbeteiligten ein Anspruch auf Zustellung von Vernehmlassungen zusteht, unabhängig davon, ob diese Eingaben neue und erhebliche Gesichtspunkte enthalten. Das Gericht muss vor Erlass seines Urteils eingegangene Vernehmlassungen den Beteiligten zustellen, damit diese sich darüber schlüssig werden können, ob sie sich dazu äussern wollen oder nicht (<ref-ruling> E. 4.5 S. 103 f. mit Hinweisen; <ref-ruling> E. 2.2 S. 99; <ref-ruling> E. 3.3.2 - 3.3.4 S. 46 f.; Urteile 4D_111/2010 vom 19. Januar 2011 E. 2.1; 6B_181/2009 vom 29. September 2009 E. 2; 5A_411/2007 vom 29. November 2007 E. 4.2 f., in: ZBGR 2009 S. 254 f.; vgl. auch die Urteile des Europäischen Gerichtshofes für Menschenrechte Schaller-Bossert gegen Schweiz vom 28. Oktober 2010 § 39 f. und Nideröst-Huber gegen Schweiz vom 18. Februar 1997, Recueil CourEDH 1997-I S. 101 § 24).
2.3.2 Eine nicht besonders schwerwiegende Verletzung des rechtlichen Gehörs kann ausnahmsweise als geheilt gelten, wenn die betroffene Person die Möglichkeit erhält, sich vor einer Rechtsmittelinstanz zu äussern, die sowohl den Sachverhalt wie auch die Rechtslage frei überprüfen kann. Unter dieser Voraussetzung ist darüber hinaus - im Sinne einer Heilung des Mangels - selbst bei einer schwerwiegenden Verletzung des Anspruchs auf rechtliches Gehör von einer Rückweisung der Sache an die Vorinstanz abzusehen, wenn und soweit die Rückweisung zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wären (vgl. zum Ganzen: <ref-ruling> E. 4.2.2.2 S. 126 f.; <ref-ruling> E. 2.2 S. 204 f.).
2.4 Das Obergericht hat in tatsächlicher Hinsicht festgestellt, dass das Bezirksgericht die Beschwerdeführer weder über die von der Beschwerdegegnerin eingereichte Beschwerdeantwort noch die Vernehmlassung des Betreibungsamtes orientiert noch ihnen diese beiden Eingaben zugestellt habe. Die Beschwerdeführer hätten damit "aktenkundlich" erst mit dem bezirksgerichtlichen Beschluss vom 7. September 2010 von der Existenz dieser beiden Eingaben erfahren.
Gestützt auf diese Tatsachenfeststellungen schloss das Obergericht auf eine Verletzung des Anspruchs auf rechtliches Gehör der Beschwerdeführer durch das Bezirksgericht. Da es selbst aber über die gleiche Kognition wie das Bezirksgericht verfüge, werde dieser nicht besonders schwere Mangel im obergerichtlichen Verfahren geheilt, indem die Beschwerdeführer "umfassend zu hören" seien. Entgegen dem Rekursantrag sei aber die Zustellung der beiden fraglichen Eingaben an die Beschwerdeführer nicht geboten, nachdem sie spätestens mit dem bezirksgerichtlichen Entscheid Kenntnis von den Eingaben erhalten hätten und ihnen stets das Recht auf Akteneinsicht zugestanden habe.
2.5 Die Beschwerdeführer wenden dagegen ein, der vorliegend in Frage stehende Verfahrensfehler sei besonders schwer und damit eine Heilung durch die Rechtsmittelinstanz von vornherein ausgeschlossen. Selbst wenn jedoch eine Heilung durch das Obergericht möglich gewesen wäre, könne diese nicht mit dem blossen Verweis auf das Akteneinsichtsrecht der Beschwerdeführer erfolgen, sondern hätte das Obergericht die fraglichen Eingaben von sich aus zustellen müssen.
2.6 Das Obergericht hat zutreffend auf eine Verletzung des Anspruchs auf rechtliches Gehör durch das Bezirksgericht geschlossen, da dieses den Beschwerdeführern die Vernehmlassung des Betreibungsamtes und die Beschwerdeantwort der Beschwerdegegnerin nicht zustellte (obwohl es diese Eingaben zudem in seinem Entscheid ausführlich berücksichtigte).
Eine Heilung dieses Mangels durch das Obergericht - das über dieselbe Kognition verfügt wie das Bezirksgericht - hätte nun aber vorausgesetzt, dass diese beiden Eingaben den Beschwerdeführern zugestellt worden wären und sie sich dazu hätten äussern können. Nur so hätte der aus dem Replikrecht fliessende Anspruch auf Zustellung der Vernehmlassungen gewahrt werden können (vgl. E. 2.3.1 oben). Dies war aber vorliegend nicht der Fall. Das Obergericht durfte die festgestellte Verletzung des Anspruchs auf rechtliches Gehör der Beschwerdeführer nicht mit dem reinen Verweis auf die Möglichkeit der Akteneinsicht heilen.
Die Argumentation des Obergerichts läuft zudem darauf hinaus, dass die Beschwerdeführer ihr Recht auf Akteneinsicht innerhalb der Rechtsmittelfrist hätten wahrnehmen müssen. Statt einer Replik hätten sie sogleich die Rekursschrift unter Berücksichtigung der Argumente in den beiden Eingaben des Betreibungsamtes und der Beschwerdegegnerin einreichen müssen. Angesichts der Rechtsmittelfrist von zehn Tagen (<ref-law>) wären damit den Beschwerdeführern im Ergebnis nur wenige Tage verblieben, um auf die fraglichen Eingaben reagieren zu können, was ohnehin unzureichend wäre (vgl. Urteil 2C_794/2008 vom 14. April 2009 E. 3.5).
Indem das Obergericht den Beschwerdeführern die Vernehmlassung und Beschwerdeantwort nicht zustellte, verletzte es (wie bereits das Bezirksgericht) ihren Anspruch auf rechtliches Gehör beziehungsweise hat es die vorangegangene Verletzung durch das Bezirksgericht nicht geheilt.
2.7 Der angefochtene Entscheid (Ziff. 1, 3 und 5 des Dispositivs) ist aus den dargelegten Gründen aufzuheben, ohne dass die von den Beschwerdeführern überdies geltend gemachten Rügen noch zu prüfen wären. Eine Heilung dieses Verfahrensmangels im bundesgerichtlichen Verfahren ist nicht angezeigt. Sofern der Vorinstanz eine Missachtung formeller Verfahrensgarantien vorgeworfen werden muss, bildet die Kassation ihres Entscheides weiterhin die Regel, zumal die Rechtsunterworfenen grundsätzlich Anspruch auf Einhaltung des Instanzenzuges haben (Urteil 8C_241/2007 vom 9. Juni 2008 E. 1.3.2).
3. Die Beschwerde muss gutgeheissen werden, soweit darauf einzutreten ist. Die Dispositivziff. 1, 3 und 5 des angefochtenen Entscheides sind aufzuheben und die Sache wird insoweit zu neuer Entscheidung im Sinne der Erwägungen an das Obergericht zurückgewiesen.
Die Beschwerdeführer obsiegen mit ihrem Hauptantrag. Die Beschwerdegegnerin wird damit kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 1 BGG). Bei dieser Kosten- und Entschädigungsregelung wird das Gesuch der Beschwerdeführer um Beiordnung ihres Anwalts als unentgeltlicher Rechtsbeistand für das bundesgerichtliche Verfahren gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, und die Dispositivziff. 1, 3 und 5 des Urteils des Obergerichts des Kantons Zürich, II. Zivilkammer, als obere kantonale Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen, vom 29. Oktober 2010 aufgehoben. Die Sache wird insoweit zu neuer Beurteilung im Sinne der Erwägungen an das Obergericht zurückgewiesen.
2. Das Gesuch der Beschwerdeführer um Beiordnung ihres Anwalts als unentgeltlicher Rechtsvertreter für das bundesgerichtliche Verfahren wird als gegenstandslos abgeschrieben.
3. Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdegegnerin auferlegt.
4. Die Beschwerdegegnerin hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit insgesamt Fr. 2'000.-- zu entschädigen.
5. Dieses Urteil wird den Parteien, dem Betreibungsamt F._ und dem Obergericht des Kantons Zürich, II. Zivilkammer, als obere kantonale Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen, schriftlich mitgeteilt.
Lausanne, 23. März 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Bettler