Faits : A. A.a. Les frères A._ et B._ sont copropriétaires par moitié des parcelles n° s 3629, 3631 et 3175, situées [adresse] à U._ (GE). Sur ces parcelles sont édifiées huit maisons villageoises qui comportent un ou, pour certaines, deux logements loués, à l'exception de deux d'entre elles qui sont habitées par chacun des copropriétaires. A.b. A.b.a. La banque C._ est créancière hypothécaire des immeubles. Elle a dénoncé son prêt et a engagé une poursuite en réalisation de son gage pour un montant de 6'766'354 fr. dans la poursuite n° xx xxxxxx x dirigée contre A._ et n° yy yyyyyy y dirigée contre B._. A.b.b. Le 9 juillet 2015, la créancière a requis la réalisation de l'objet du gage. En conséquence l'Office des poursuites de Genève (ci-après: office) a mandaté F._, architecte, aux fins de déterminer la valeur vénale présumées des immeubles. A.c. A.c.a. Dans trois rapports d'expertise datés du 30 septembre 2015, cet expert a estimé les trois parcelles à un montant total de 5'905'000 fr. S'agissant de la parcelle n° 3629, sur laquelle est sise une maison comprenant deux appartements de 4,5 et 5,5 pièces, l'expert a retenu une valeur intrinsèque de 920'000 fr. dont à déduire un taux de vétusté de 30%, et une valeur de rendement de 852'632 fr., dont à déduire des charges de 25% et un taux de capitalisation de 4,75%. Il a fixé la valeur vénale à 875'000 fr. environ, correspondant à la moyenne entre la valeur intrinsèque (coefficient 1) et la valeur de rendement (coefficient 2). S'agissant de la parcelle n° 3631, sur laquelle sont sises deux maisons comprenant un logement chacune (une ancienne maison villageoise du XVIIème siècle et une ancienne grange transformée), l'expert a retenu une valeur intrinsèque de 1'692'210 fr., dont à déduire un taux de vétusté de 25%, et une valeur de rendement de 1'282'500 fr., dont à déduire des charges de 25% et un taux de capitalisation de 4%. Il a fixé la valeur vénale à 1'590'000 fr. environ, correspondant à la moyenne entre la valeur intrinsèque (coefficient 3) et la valeur de rendement (coefficient 1). S'agissant de la parcelle n° 3175, sur laquelle est sise une habitation composée de deux logements de 4,5 et 5 pièces, un bâtiment composé de deux logements de 6 et 4 pièces, un bâtiment avec un logement de 4 pièces et deux bâtiments avec chacun un logement de 5 pièces, l'expert a retenu une valeur intrinsèque de 3'469'906 fr., dont à déduire un taux de vétusté de 30%, et une valeur de rendement de 3'429'474 fr., dont à déduire des charges de 25% et un taux de capitalisation de 4,75%. Il a fixé la valeur vénale à 3'440'000 fr.environ, correspondant à la moyenne entre la valeur intrinsèque (coefficient 1) et la valeur de rendement (coefficient 2). A.c.b. Le 5 octobre 2015, l'office a estimé la valeur des immeubles en reprenant les montants des rapports d'expertise précités, qu'il a annexés à sa décision. A.d. Les 9 décembre 2015 et 2 mars 2016, les deux débiteurs ont été mis au bénéfice d'une curatelle de représentation. Jean-Daniel Borgeaud, avocat, a été désigné comme curateur. A.e. Par courrier recommandé du 17 mars 2017, l'office a communiqué aux débiteurs l'avis de vente des parcelles n° s 3629, 3631 et 3175, qui reprenait les estimations précitées. Le 24 mars 2017, cet avis a été publié sur le site Internet de la Feuille d'avis officielle. B. B.a. Le 30 mars 2017, A._ et B._ ont déposé une plainte auprès de la Chambre de surveillance des offices des poursuites et faillites de la Cour de justice du canton de Genève (ci-après: Chambre de surveillance) contre cet avis de vente. Ils ont requis une seconde expertise en faisant notamment valoir que la société D._ Sàrl avait estimé les parcelles à 7'375'000 fr. dans un rapport du 16 janvier 2015, en distinguant, dans son estimation, les habitations comprenant un logement de celles en comprenant deux. B.b. B.b.a. Par décision du 31 août 2017, la Chambre de surveillance a ordonné une nouvelle expertise. Elle a retenu que l'office n'avait établi ni avoir effectivement expédié aux débiteurs les premières expertises par courrier recommandé le 5 octobre 2015, ni la date à laquelle les débiteurs auraient retiré ce pli. Sur la base de ces éléments et en application du droit d'être entendu, la Chambre de surveillance a déclaré recevable la demande de nouvelle estimation par expertise, en précisant que cette estimation serait ordonnée par décision séparée, dès que sa décision d'entrée en matière serait devenue définitive. Elle a en outre relevé que la créancière avait requis la vente des parcelles le 9 juillet 2015, mais que l'office n'avait publié l'avis de vente que le 24 mars 2017 et fixé la vente le 13 juin 2017, soit près de deux ans après la réquisition de vente. Le qualifiant d'incompréhensible et d'inadmissible, elle a constaté le caractère injustifié de ce retard et transmis sa décision au Préposé de l'office. Enfin, la Chambre de surveillance a refusé d'entrer en matière sur les griefs relatifs à la publication de l'avis de vente, étant donné qu'une nouvelle expertise devait être ordonnée et qu'il en découlait que la plainte sur la forme de la publication de l'avis était sans objet, de même que l'avis lui-même en tant qu'il était prématuré. B.b.b. Par ordonnance du 3 octobre 2017, la Chambre de surveillance a désigné E._, architecte, en qualité de nouvel expert. La première expertise et la demande de nouvelle expertise, faisant état de celle de la société D._ Sàrl, lui ont été communiquées. B.b.c. Dans trois rapports d'expertise du 26 janvier 2018, ce second expert a estimé les trois parcelles à un montant total de 6'689'000 fr. S'agissant de la parcelle n° 3629, l'expert a relevé que le bâtiment était enregistré au Registre foncier comme une habitation à un logement, était soumis à la Loi sur les démolitions, transformations et rénovations de maisons d'habitation (mesures de soutien en faveur des locataires et de l'emploi), du 25 janvier 1996 (RS/GE L 5 20; ci-après: LDTR) et ne pouvait être vendu en PPE. Pour déterminer la valeur intrinsèque, il a estimé la valeur des aménagements extérieurs et des taxes à 21'000 fr. (comme dans la première expertise), le prix du terrain à 1'200 fr./m 2 (au lieu de 1'100 fr. dans la première expertise) et celui des bâtiments à 950 fr./m 3 (au lieu de 850 fr.), et le taux de vétusté à 25% (au lieu de 30%). Pour fixer la valeur de rendement, il a retenu un état locatif annuel identique à celui du premier expert, mais des charges de 30% (au lieu de 25%) et un taux de capitalisation de 4% (au lieu de 4,75%). Il a calculé la valeur vénale de la même manière que dans la première expertise, soit une fois la valeur intrinsèque et deux fois la valeur de rendement, pour arriver au montant de 990'000 fr. (soit une augmentation de 13%). Pour déterminer la valeur intrinsèque de la parcelle n° 3631, le second expert a estimé la valeur des aménagements extérieurs et des taxes à 80'000 fr. (au lieu de 55'200 fr. dans la première expertise), le prix du terrain à 1'100 fr./m 2 (au lieu de 900 fr. dans la première expertise) et celui des bâtiments à 900 et 1'000 fr./m 3 (au lieu de 800 et 900 fr.), et le taux de vétusté à 25% (comme dans la première expertise). Pour fixer la valeur de rendement, il a retenu un état locatif annuel de 74'000 fr. (au lieu de 68'400 fr.) et des charges de 30% (au lieu de 25%) et un taux de capitalisation de 4% (identique à celui de la première expertise). Il a calculé la valeur vénale de la même manière que dans la première expertise, soit trois fois la valeur intrinsèque et une fois la valeur de rendement, pour arriver au montant de 1'822'000 fr. (soit une augmentation de 14%). Pour ce qui est enfin de la parcelle n° 3175, le second expert a relevé que celle-ci comprenait trois bâtiments comprenant un logement, dont deux étaient loués, un bâtiment comprenant deux logements, ainsi qu'un bâtiment comprenant un atelier. Une partie de la parcelle était soumise à la LDTR et ne pouvait être vendue en PPE. Pour déterminer la valeur intrinsèque, il a estimé la valeur des aménagements extérieurs et des taxes à 100'000 fr. (au lieu de 74'960 fr. dans la première expertise), le prix du terrain à 1'100 fr./m 2 (au lieu de 900 fr. dans la première expertise) et celui des bâtiments à 850 fr./m 3 (au lieu de 800 et 850 fr.), et le taux de vétusté à 25% (au lieu de 30% dans la première expertise). Pour fixer la valeur de rendement, il a retenu un état locatif annuel de 216'300 fr. (au lieu de 217'200 fr.) et des charges de 30% (au lieu de 25%) et un taux de capitalisation de 4% (identique à celui de la première expertise). Il a calculé la valeur vénale de la même manière que dans la première expertise, soit une fois la valeur intrinsèque et deux fois la valeur de rendement, pour arriver au montant de 3'877'000 fr. (soit une augmentation de 12%). B.b.d. Par courrier du 22 février 2018, les débiteurs ont critiqué les deux expertises ordonnées. Ils ont avancé que les experts auraient dû distinguer les maisons villageoises ne comportant qu'un seul logement de celles en comportant deux, que la détermination de la valeur vénale d'une villa individuelle ou d'une maison villageoise ne comprenant qu'un logement avec un peu de terrain autour obéissait à la logique d'un marché d'offre et de demande dans lequel la valeur intrinsèque jouait un rôle, alors que pour un immeuble locatif, c'était essentiellement la capitalisation de l'état locatif qui permettait d'arrêter la valeur. Ils ont opposé aux experts de ne pas distinguer les deux méthodes, contrairement à la société D._ Sàrl. B.b.e. Par courrier du 28 février 2018, la Chambre de surveillance a clos l'instruction de la cause. B.b.f. Par décision du 2 mai 2018, la Chambre de surveillance a, à la forme, déclaré recevable la requête de seconde expertise formée le 30 mars 2017 par les débiteurs, et, au fond, a fixé à 990'000 fr. la valeur d'estimation de la parcelle n° 3629 de la commune de U._, à 1'822'000 fr. la valeur d'estimation de la parcelle n° 3631 de la commune de U._, et à 3'877'000 fr. la valeur d'estimation de la parcelle n° 3175 de la commune de U._. C. Par acte posté le 14 mai 2018, A._ et B._ exercent un recours en matière civile auprès du Tribunal fédéral contre cette décision. Ils concluent, principalement, à sa réforme, en ce sens qu'il est ordonné de nouvelles expertises de la valeur vénale des parcelles n° s 3629, 3631 et 3175 à U._ et fixé sur cette base leur nouvelle estimation, et, subsidiairement, au renvoi de la cause à la Chambre de surveillance pour établir une nouvelle estimation de la valeur vénale des parcelles n° s 3629, 3631 et 3175 à U._ sur la base de nouvelles expertises. En substance, ils invoquent la violation de l'art. 9 ORFI et celle de leur droit d'être entendu (art. 29 al. 2 Cst.). Par écritures du 28 mai 2018, ils ont requis d'être mis au bénéfice de l'assistance judiciaire. Des observations n'ont pas été requises. D. Par ordonnance du 7 juin 2018, l'effet suspensif a été attribué au recours.