Sachverhalt:
A. A.a Die Eheleute A._ und B._ sind Stockwerkeigentümer mit Sonderrecht an einer 41⁄2 - Zimmerwohnung. Auch die Ehegatten D._ und C._ sind Stockwerkeigentümer mit Sonderrecht an einer 31⁄2 - Zimmerwohnung. Sie sind alle Mitglieder der Stockwerkeigentümergemeinschaft "E._" in G._.
In zwei von der Stockwerkeigentümergemeinschaft eingeleiteten Betreibungen auf Grundpfandverwertung gegen A._ (Betreibung Nr. 1) und B._ (Betreibung Nr. 2) stellte die Stockwerkeigentümergemeinschaft am 26. Februar 2010 das Verwertungsbegehren an das Gemeindeammann- und Betreibungsamt F._.
Zudem bestehen gegen die eingangs erwähnten vier Personen (nachfolgend Beschwerdeführer) mehrere Betreibungen auf Pfändung (von diversen Gläubigern, unter anderem auch der Stockwerkeigentümergemeinschaft). Es bildeten sich in der Folge die Gläubigergruppen Nr. 3 (gegen A._), Nr. 4 (gegen D._), Nr. 5 (gegen C._) und Nr. 6 (gegen B._).
A.b Mit "beschwerdefähiger Verfügung" vom 22. Juli 2010 kündigte das Betreibungsamt den Beschwerdeführern die Durchführung der Schätzung ihrer Stockwerkeigentumsanteile auf den 26. August 2010, 09.00 Uhr, an. Es hielt fest, die angezeigte "Verkehrswert-Schätzung" betreffe die beiden Betreibungen Nr. 1 und 2 auf Grundpfandverwertung sowie die Betreibungen auf Pfändung der Gläubigergruppen Nr. 3, 4, 5 und 6.
B. Gegen diese Verfügung gelangten die Beschwerdeführer am 2. August 2010 an das Bezirksgericht Dielsdorf als untere Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen und verlangten insbesondere die Aufhebung der Verfügung.
Die Stockwerkeigentümergemeinschaft und das Betreibungsamt reichten jeweils am 27. August 2010 eine Beschwerdeantwort beziehungsweise Vernehmlassung ein, die das Bezirksgericht den Beschwerdeführern nicht zustellte.
In seinem Beschluss vom 7. September 2010 trat das Bezirksgericht auf die Beschwerde nicht ein, da die Ankündigung der Schätzung vom 22. Juli 2010 eine blosse Mitteilung und keine Verfügung darstelle. Es auferlegte den Beschwerdeführern eine Busse von Fr. 250.-- und eine Gerichtsgebühr von Fr. 500.--, beides unter solidarischer Haftbarkeit.
C. Dagegen gelangten die Beschwerdeführer an das Obergericht des Kantons Zürich als obere Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen. Sie verlangten in der Sache die Aufhebung des bezirksgerichtlichen Beschlusses und die Anordnung, wonach ihre Stockwerkeinheiten nicht zu besichtigen seien und keine Verkehrswertschätzung durchzuführen sei. Zudem sei festzustellen, dass sie über kein verwertbares Vermögen verfügten und das bezirksgerichtliche Verfahren kostenlos sei.
Mit Beschluss vom 29. Oktober 2010 hiess das Obergericht den Rekurs teilweise gut und hob den Entscheid des Bezirksgerichts insoweit auf, als es die auferlegte Busse von Fr. 250.-- ohne solidarische Haftbarkeit der Beschwerdeführer anordnete (Ziff. 1 des Dispositivs). Im Übrigen wies es den Rekurs ab (Ziff. 3 des Dispositivs) und trat auf den Antrag auf Feststellung, wonach die Beschwerdeführer über kein verwertbares Vermögen verfügten, nicht ein (Ziff. 2 des Dispositivs). Es erhob für das Rekursverfahren keine Kosten und sprach keine Entschädigungen zu (Ziff. 4 des Dispositivs). Auf das Gesuch der Beschwerdeführer um unentgeltliche Rechtspflege trat es nicht ein und wies das Gesuch um Beiordnung eines Anwalts ab (Ziff. 5 des Dispositivs).
D. Eine von den Beschwerdeführern dagegen erhobene Beschwerde in Zivilsachen hiess das Bundesgericht mit Urteil 5A_791/2010 vom 23. März 2011 gut, soweit es darauf eintrat. Es hob die Ziff. 1, 3 und 5 des obergerichtlichen Beschlusses auf und wies die Sache insoweit zu neuer Beurteilung an das Obergericht zurück.
Das Bundesgericht erachtete den Anspruch der Beschwerdeführer auf rechtliches Gehör als verletzt, weil das Obergericht - wie bereits das Bezirksgericht - den Beschwerdeführern die Beschwerdeantwort der Stockwerkeigentümergemeinschaft und die Vernehmlassung des Betreibungsamtes vom 27. August 2010 nicht zugestellt hatte und mit dem blossen Verweis auf die Möglichkeit der Akteneinsicht eine solche Gehörsverletzung nicht geheilt werden könne.
E. Das Obergericht nahm daraufhin das Verfahren wieder auf. In seiner Verfügung vom 29. April 2011 stellte es den Beschwerdeführern die erwähnte Beschwerdeantwort und Vernehmlassung vom 27. August 2010 zu und setzte ihnen eine Frist von 10 Tagen, um dazu Stellung zu nehmen.
Am 2. Mai 2011 stellten die Beschwerdeführer erneut ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung. Mit Beschluss vom 5. Mai 2011 trat das Obergericht auf das Gesuch um unentgeltliche Rechtspflege aufgrund der Kostenlosigkeit des Beschwerdeverfahrens nicht ein (Ziff. 1 des Dispositivs). Das Gesuch um unentgeltliche Verbeiständung wies es ab (Ziff. 2 des Dispositivs).
F. Dem Bundesgericht beantragen die Beschwerdeführer in ihrer Beschwerde in Zivilsachen vom 13. Mai 2011, es sei Ziff. 2 des obergerichtlichen Beschlusses vom 5. Mai 2011 aufzuheben und ihnen ihr Rechtsvertreter als unentgeltlicher Rechtsbeistand zu bestellen. Zudem ersuchen sie um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren. In ihrer zusätzlichen Eingabe vom 20. Mai 2011 halten die Beschwerdeführer fest, es sei der Beschwerde "auch ohne Antrag" von Gesetzes wegen die aufschiebende Wirkung zuzuerkennen.
Mit der Fristansetzung an das Obergericht zur Beschwerdevernehmlassung vom 24. Mai 2011 hielt das Bundesgericht fest, dass der Beschwerde gegen die Nichternennung eines unentgeltlichen Rechtsbeistandes von Gesetzes wegen keine aufschiebende Wirkung zukomme.
Das Obergericht hat die Vorakten zugestellt, auf eine Vernehmlassung aber verzichtet.

Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher Entscheid (<ref-law>), mit welchem das Gesuch der Beschwerdeführer um unentgeltliche Verbeiständung abgewiesen worden ist. Dabei handelt es sich um einen Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>; <ref-ruling> E. 4 S. 338; <ref-ruling> E. 1.1 S. 131).
Nach dem Grundsatz der Einheit des Verfahrens sind Zwischenentscheide mit dem in der Hauptsache zulässigen Rechtsmittel anzufechten (<ref-ruling> E. 3 S. 144). Der angefochtene Zwischenentscheid ist im Beschwerdeverfahren vor der oberen Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen ergangen, womit eine streitwertunabhängige Angelegenheit (<ref-law>) vorliegt, die der Beschwerde in Zivilsachen untersteht (<ref-law>).
1.2 Die Beschwerde in Zivilsachen ist nach dem Gesagten in der Hauptsache zulässig und kann auch gegen den vorliegenden Zwischenentscheid ergriffen werden. Ist ein oberes Gericht mit einem Rechtsmittelverfahren befasst und fällt es einen Zwischenentscheid, so ist die Beschwerde an das Bundesgericht auch unter dem Blickwinkel von <ref-law> möglich (vgl. BGE 5A_320/2011 vom 8. August 2011 E. 2.2 mit Hinweisen; Urteil 5A_414/2011 vom 26. Juli 2011 E. 1.1).
2. 2.1 Die Beschwerdeführer rügen die Verletzung ihres Anspruchs auf unentgeltliche Verbeiständung.
2.2 Der Anspruch auf unentgeltliche Rechtspflege und Verbeiständung wird vorliegend in erster Linie durch das kantonale Prozessrecht geregelt, was auch unter der eidgenössischen Zivilprozessordnung der Fall ist, da das betreibungsrechtliche Beschwerdeverfahren, abgesehen von den in <ref-law> geregelten Grundsätzen, wie bis anhin dem kantonalen Recht untersteht (<ref-law> und <ref-law>; Botschaft vom 28. Juni 2006 zur Schweizerischen Zivilprozessordnung, BBl 2006 7258 Ziff. 5.1; COMETTA/MÖCKLI, in: Basler Kommentar, 2. Aufl. 2010, N. 38 ff. zu <ref-law>). Unabhängig davon besteht ein solcher Anspruch auf unentgeltliche Rechtspflege und Verbeiständung auf Grund von <ref-law>. Da die Beschwerdeführer nicht geltend machen, dass sich aus dem Verfassungs- und Verfahrensrecht des Kantons Zürich ein über <ref-law> hinausgehender Anspruch ergibt, ist vorliegend - wie gerügt - die bundesrechtliche Minimalgarantie massgebend.
2.3 Gemäss <ref-law> hat jede Person, die nicht über die erforderlichen Mittel verfügt und deren Rechtsbegehren nicht aussichtslos erscheint, Anspruch auf unentgeltliche Rechtspflege. Falls es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand. Die Rechtsnatur des Verfahrens ist dabei ohne Belang. Grundsätzlich fällt die unentgeltliche Verbeiständung für jedes staatliche Verfahren in Betracht, in das der Gesuchsteller einbezogen wird oder das zur Wahrung seiner Rechte notwendig ist.
Die bedürftige Partei hat Anspruch auf unentgeltliche Verbeiständung, wenn ihre Interessen in schwerwiegender Weise betroffen sind und der Fall in tatsächlicher und rechtlicher Hinsicht Schwierigkeiten bietet, die den Beizug eines Rechtsvertreters erforderlich machen. Droht das in Frage stehende Verfahren besonders stark in die Rechtsposition der betroffenen Person einzugreifen, ist die Bestellung eines unentgeltlichen Rechtsvertreters grundsätzlich geboten, sonst nur dann, wenn zur relativen Schwere des Falles besondere tatsächliche oder rechtliche Schwierigkeiten hinzukommen, denen der Gesuchsteller auf sich alleine gestellt nicht gewachsen wäre (<ref-ruling> E. 2.2 S. 182 mit Hinweisen; Urteil 5A_447/2007 vom 13. Dezember 2007 E. 2, nicht publ. in: <ref-ruling>). Zu berücksichtigen ist dabei zudem das Prinzip der Waffengleichheit (vgl. Urteil 5A_145/2010 vom 7. April 2010 E. 3.5 mit Hinweisen).
2.4 Das Obergericht wies das Gesuch um unentgeltliche Verbeiständung in seiner Begründung ab, weil die Bestellung eines Rechtsbeistandes "aufgrund des Grundsatzes der Untersuchungsmaxime im Beschwerdeverfahren in der Regel - wie auch vorliegend - nicht als geboten" erscheine.
2.4 Das Obergericht wies das Gesuch um unentgeltliche Verbeiständung in seiner Begründung ab, weil die Bestellung eines Rechtsbeistandes "aufgrund des Grundsatzes der Untersuchungsmaxime im Beschwerdeverfahren in der Regel - wie auch vorliegend - nicht als geboten" erscheine.
2.5 2.5.1 Nach Art. 62 Abs. 2 der Gebührenverordnung vom 23. September 1996 zum Bundesgesetz über Schuldbetreibung und Konkurs (GebV SchKG; SR 281.35) darf die Aufsichtsbehörde in betreibungs- und konkursrechtlichen Beschwerdeverfahren keine Parteientschädigungen zusprechen. Dies verbietet jedoch nicht, der rechtssuchenden Partei bei gegebenen Voraussetzungen die unentgeltliche Verbeiständung zu bewilligen (Urteil 5A_781/2010 vom 16. Februar 2011 E. 4.1).
2.5.2 Entgegen der Auffassung des Obergerichts lässt zudem die im betreibungsrechtlichen Beschwerdeverfahren gemäss <ref-law> vorherrschende Untersuchungsmaxime eine anwaltliche Vertretung nicht ohne weiteres als unnötig erscheinen, auch wenn in diesen Fällen in der Regel eine anwaltliche Mitwirkung nicht erforderlich sein dürfte (<ref-ruling> E. 3.2 und 3.3 S. 183 f.; <ref-ruling> E. 3c S. 394; <ref-ruling> E. 2c S. 9 f.; Urteil 5P.346/2004 vom 8. November 2004 E. 2.2, in: Pra 2005 S. 272; s.a. COMETTA/MÖCKLI, a.a.O., N. 35 zu <ref-law> ; DIETH, in: Kurzkommentar SchKG, 2009, N. 16 zu <ref-law>; ERARD, in: Commentaire romand, 2005, N. 15 zu <ref-law>; GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, Bd. I, 1999, N. 108 zu <ref-law>; teilweise kritisch MEICHSSNER, Das Grundrecht auf unentgeltliche Rechtspflege, 2008, S. 131 f.; EUGSTER, in: Kommentar SchKG/Gebührenverordnung, 2008, N. 10 zu Art. 62 GebV; LORANDI, Die Besonderheiten der Beschwerde in Zivilsachen gegen Entscheide der kantonalen Aufsichtsbehörde in SchKG-Sachen, AJP 2007, S. 445).
Das sachgerechte Anlegen eines jeden Verfahrens und dessen richtige Leitung erfordern von der Behörde eine umfassende Kenntnis der einschlägigen Rechtsfragen, geht es doch darum, die rechtserheblichen tatsächlichen Umstände einfliessen zu lassen. Die Erfahrung zeigt, dass ein schlecht begonnenes Verfahren später nur sehr schwer in die richtige Bahn zu bringen ist. Abgesehen davon, dass die Untersuchungsmaxime allfällige Fehlleistungen der Behörde nicht zu verhindern vermag, ist zu bedenken, dass sie nicht unbegrenzt ist. Sie verpflichtet die Behörde zwar, von sich aus alle Elemente in Betracht zu ziehen, die entscheidwesentlich sind, und unabhängig von den Anträgen der Parteien Beweise zu erheben. Diese Pflicht entbindet die Beteiligten indessen nicht davon, durch Hinweise zum Sachverhalt oder Bezeichnung von Beweisen am Verfahren mitzuwirken (<ref-ruling> E. 3.2 S. 183 f. mit Hinweisen; insbesondere zur Mitwirkungspflicht im betreibungsrechtlichen Beschwerdeverfahren vgl. <ref-ruling> E. 3 S. 329).
2.5.3 Gilt deshalb die Untersuchungsmaxime nicht uneingeschränkt, weil die Parteien zur Mitwirkung verpflichtet sind, erweist sich die unentgeltliche Verbeiständung nicht von vornherein als hinfällig. Das Obergericht konnte damit die Prüfung der Notwendigkeit einer Verbeiständung nicht mit dem blossen Hinweis auf die im betreibungsrechtlichen Beschwerdeverfahren herrschende Untersuchungsmaxime abweisen. Vielmehr hätte es nach den in E. 2.3 oben dargestellten Grundsätzen prüfen müssen, ob sich im vorliegenden Einzelfall ausnahmsweise eine unentgeltliche Verbeiständung als notwendig erweist. Dabei gilt es zu beachten, dass der vorliegende Fall jedenfalls in tatsächlicher Hinsicht einige Schwierigkeiten aufweist und die Gegenpartei im Hauptverfahren anwaltlich vertreten ist.
3. Die Beschwerde ist nach dem Gesagten teilweise gutzuheissen (vgl. MESSMER/IMBODEN, Die eidgenössischen Rechtsmittel in Zivilsachen, 1992, Fn. 6 S. 171) und Ziff. 2 des Entscheides des Obergerichts vom 5. Mai 2011 aufzuheben. Die Angelegenheit ist praxisgemäss an das Obergericht zurückzuweisen, damit dieses die von ihm nicht erörterten Voraussetzungen der Notwendigkeit der Verbeiständung und gegebenenfalls der Bedürftigkeit und fehlenden Aussichtslosigkeit prüfe und alsdann neu entscheide (<ref-law>). Bei diesem Ergebnis braucht auf die Ausführungen des Beschwerdeführers in seiner Beschwerde, ob im konkreten Fall die Notwendigkeit einer Verbeiständung zu bejahen ist, nicht eingegangen zu werden. Es kann demnach offen gelassen werden, ob er insoweit (Ziff. 16 f. der Beschwerde) neue Tatsachen und Beweismittel vorbringt (<ref-law>; <ref-ruling> E. 3.3.1 S. 364 f.; zu Beweismittelanträgen vor dem Bundesgericht vgl. <ref-ruling> E. 2.2 S. 33).
4. Ungeachtet des Verfahrensausgangs sind dem Kanton Zürich keine Kosten aufzuerlegen (<ref-law>). Hingegen hat er die Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (<ref-law>). Eine andere Kosten- und Entschädigungsregelung drängt sich vorliegend aufgrund der teilweisen Gutheissung der Beschwerde nicht auf. Bei dieser Kosten- und Entschädigungsregelung wird das Gesuch der Beschwerdeführer um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und Dispositivziffer 2 des Beschlusses des Obergerichts des Kantons Zürich, II. Zivilkammer, als obere kantonale Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen, vom 5. Mai 2011 aufgehoben. Die Sache wird insoweit zu neuer Beurteilung im Sinne der Erwägungen an das Obergericht zurückgewiesen.
2. Das Gesuch der Beschwerdeführer um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wird als gegenstandslos abgeschrieben.
3. Es werden keine Gerichtskosten erhoben.
4. Der Kanton Zürich hat die Beschwerdeführer mit insgesamt Fr. 1'000.-- zu entschädigen.
5. Dieses Urteil wird den Parteien schriftlich mitgeteilt.
Lausanne, 8. August 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Bettler