Erwägungen:
1.
Mit Schreiben vom 22. Juni 2020 teilte das Regionale Betreibungsamt U._ den Beschwerdeführern mit, die betreibungsamtliche Schätzung ihrer in der Betreibung Nr. xxx zu verwertenden Liegenschaft betrage Fr. 3,6 Mio. Auf entsprechenden Antrag hin ordnete das Bezirksgericht Bremgarten mit Verfügung vom 16. Juli 2020 die Neuschätzung des Grundstücks an. Mit Entscheid vom 20. Januar 2021 wies das Bezirksgericht das Betreibungsamt an, die betreibungsamtliche Schätzung dahingehend zu korrigieren, dass der Schätzwert Fr. 3'460'000.-- beträgt.
Gegen diesen Entscheid erhoben die Beschwerdeführer mit Eingabe vom 11. Februar 2021 (Postaufgabe 12. Februar 2021) Beschwerde beim Obergericht des Kantons Aargau. Mit Entscheid vom 9. August 2021 trat das Obergericht auf die Beschwerde wegen Verspätung nicht ein.
Gegen diesen Entscheid haben die Beschwerdeführer am 27. August 2021 Beschwerde an das Bundesgericht erhoben. Mit Verfügung vom 30. August 2021 hat das Bundesgericht das Gesuch um aufschiebende Wirkung abgewiesen.
2.
Nach Art. 42 Abs. 2 BGG ist in der Beschwerdebegründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheides massgeblichen Erwägungen aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (BGE 140 III 86 E. 2 S. 88 f.; 140 III 115 E. 2 S. 116). Der vorinstanzlich festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich (Art. 105 Abs. 1 BGG). Die unrichtige Feststellung des Sachverhalts kann nur unter den Voraussetzungen von Art. 97 Abs. 1 BGG gerügt werden (vgl. BGE 140 III 16 E. 1.3.1 S. 18; 140 III 264 E. 2.3 S. 266).
3.
Das Obergericht hat erwogen, der bezirksgerichtliche Entscheid sei den Beschwerdeführern zur Abholung bis am 1. Februar 2021 gemeldet worden. Da sie das Verfahren selber eingeleitet hätten, hätten sie mit der Zustellung rechnen müssen. Die von den Beschwerdeführern veranlasste Verlängerung der Abholfrist bis am 22. Februar 2021 sei unbeachtlich. Der Entscheid gelte als am 1. Februar 2021 zugestellt. Die zehntägige Beschwerdefrist habe am 11. Februar 2021 geendet. Die erst am 12. Februar 2021 der Post übergebene Beschwerde sei verspätet. Wiederherstellungsgründe gemäss Art. 33 Abs. 4 SchKG hätten die Beschwerdeführer weder geltend gemacht nach nachgewiesen.
4.
Vor Bundesgericht bestätigen die Beschwerdeführer, die Beschwerde erst am 12. Februar 2021 der Post übergeben zu haben. Sie machen aber geltend, sie hätten sich wegen Covid-Symptomen in der Isolation befunden. Demnach sei nicht das Datum der Postaufgabe, sondern das Datum der Abfassung der Beschwerde (11. Februar 2021) massgebend.
Die von den Beschwerdeführern geschilderten Umstände finden im angefochtenen Urteil keine Grundlage. Sie belegen diese auch nicht (z.B. mit der individuellen Isolationsanordnung oder einem Arztzeugnis). Eine genügende Sachverhaltsrüge (Art. 97 Abs. 1 BGG) fehlt. Soweit die Vorbringen neu sind, sind sie auch unzulässig (Art. 99 Abs. 1 BGG). Insbesondere übergehen die Beschwerdeführer, dass sie vor Obergericht keine Fristwiederherstellungsgründe geltend gemacht haben. Sie können vor Bundesgericht nicht nachholen, was sie vor Obergericht vorzutragen verpasst haben.
Die Beschwerde ist damit offensichtlich unzulässig bzw. sie enthält offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 108 Abs. 1 lit. a und b BGG).
5.
Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten unter solidarischer Haftung (Art. 66 Abs. 1 und Abs. 5 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Aargau, Schuldbetreibungs- und Konkurskommission als obere betreibungsrechtliche Aufsichtsbehörde, schriftlich mitgeteilt.
Lausanne, 3. September 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg