Sachverhalt:
A.
Die Staatsanwaltschaft Zürich-Limmat führt gegen A._ ein Strafverfahren wegen Exhibitionismus (Art. 194 StGB). Auf ihre Anordnung hin führte die Stadtpolizei Zürich am frühen Morgen des 17. März 2021 eine Hausdurchsuchung am Wohnort des Beschuldigten durch. Dabei wurden verschiedene elektronische Geräte und Datenträger sichergestellt. Am 19. März 2021 beantragte die Verteidigerin von A._ deren Siegelung. Mit Schreiben vom 5. April 2021 stellte die Staatsanwaltschaft Antrag auf Entsiegelung.
B.
Mit Verfügung vom 22. April 2021 trat das Zwangsmassnahmengericht auf das Entsiegelungsgesuch der Staatsanwaltschaft nicht ein. Zugleich ordnete es an, dass die (im Dispositiv der Verfügung im Einzelnen aufgelisteten) sichergestellten Gegenstände und Datenträger der Staatsanwaltschaft nach Eintritt der Rechtskraft der Verfügung zur Durchsuchung und weiteren Verwendung in der Strafuntersuchung freigegeben werden. Zur Begründung hielt es fest, A._ habe am 17. März 2021 auf sein Recht auf Siegelung verzichtet und das Siegelungsgesuch vom 19. März 2021 sei auf jeden Fall verspätet.
C.
Mit Beschwerde in Strafsachen an das Bundesgericht vom 26. Mai 2021 beantragt A._, den Entscheid des Zwangsmassnahmengerichts aufzuheben und die Sache zur Durchführung des Entsiegelgungsverfahrens an die Vorinstanz zurückzuweisen.
D.
Das Zwangsmassnahmengericht verzichtet auf Vernehmlassung. Die Staatsanwaltschaft beantragt, die Beschwerde abzuweisen.
E.
Mit Präsidialverfügung vom 29. Juni 2021 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
Gegen das angefochtene Urteil ist gemäss Art. 78 Abs. 1 BGG die Beschwerde in Strafsachen gegeben. Ein kantonales Rechtsmittel steht nicht zur Verfügung. Die Beschwerde ist nach Art. 248 Abs. 3 lit. a i.V.m. Art. 380 StPO und Art. 80 Abs. 2 BGG zulässig. Der Beschwerdeführer ist gemäss Art. 81 Abs. 1 lit. a und b Ziff. 1 BGG zur Beschwerde berechtigt. Da er rechtlich geschützte Geheimnisinteressen hinreichend substanziiert anruft, kann ihm das angefochtene Urteil einen nicht wieder gutzumachenden Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG verursachen (<ref-ruling> E. 1; Urteil 1B_85/2019 vom 8. August 2019 E. 2 mit Hinweisen). Die Beschwerde ist daher auch insoweit zulässig. Die weiteren Sachurteilsvoraussetzungen sind ebenfalls erfüllt und geben zu keinen Bemerkungen Anlass.
2.
2.1. Gemäss Art. 248 StPO sind Aufzeichnungen und Gegenstände, die nach Angaben des Inhabers wegen eines Aussage- oder Zeugnisverweigerungsrechts oder aus anderen Gründen nicht durchsucht oder beschlagnahmt werden dürfen, zu versiegeln und dürfen von den Strafbehörden weder eingesehen noch verwendet werden (Abs. 1). Stellt die Strafbehörde nicht innert 20 Tagen ein Entsiegelungsgesuch, so werden die versiegelten Aufzeichnungen und Gegenstände der berechtigten Person zurückgegeben (Abs. 2). Stellt sie ein Entsiegelungsgesuch, so entscheidet im Vorverfahren darüber innerhalb eines Monats endgültig das Zwangsmassnahmengericht (Abs. 3 lit. a).
2.2. Der Beschwerdeführer bringt vor, entgegen der Auffassung der Vorinstanz habe er anlässlich der Hausdurchsuchung mangels genügender Aufklärung über seine Verfahrensrechte nicht rechtsgültig auf ein Siegelungsbegehren verzichtet. Sodann sei das von seiner Anwältin am 19. März 2021 eingereichte Siegelungsgesuch als rechtzeitig zu betrachten.
2.3. Nach der Rechtsprechung muss ein Siegelungsgesuch sofort gestellt werden (<ref-ruling> E. 4c/aa; Urteile 1B_487/2018 vom 6. Februar 2019 E. 2.4; 1B_48/2017 vom 24. Juli 2017 E. 5; je mit Hinweisen). Ein mehrere Wochen oder Monate nach der vorläufigen Sicherstellung der Aufzeichnungen oder Gegenstände gestelltes Siegelungsgesuch ist grundsätzlich verspätet (Urteil 1B_454/2016 vom 24. Januar 2017 E. 3.1 mit Hinweis). Demgegenüber kann ein eine Woche nach der vorläufigen Sicherstellung gestelltes Gesuch gegebenenfalls noch als rechtzeitig angesehen werden (Urteil 1B_91/2016 vom 4. August 2016 E. 5.2 ff.). Es kommt auf die Umstände des Einzelfalles an (Urteile 1B_85/2019 vom 8. August 2019 E. 4.2; 1B_91/2016 vom 4. August 2016 E. 4.4).
Die Untersuchungsbehörde, welche Aufzeichnungen und Gegenstände vorläufig sicherstellt, hat deren Inhaber anlässlich der Hausdurchsuchung darüber zu informieren, dass er, falls er Geheimnisrechte geltend machen möchte, die einer Durchsuchung bzw. Beschlagnahme der sichergestellten Unterlagen entgegenstehen könnten, deren Siegelung verlangen kann. Ebenso ist der Betroffene darüber in Kenntnis zu setzen, dass nach erfolgter Siegelung (und auf allfälliges Entsiegelungsgesuch der Untersuchungsbehörde hin) das zuständige Gericht über die Zulässigkeit der Durchsuchung entscheidet und dass der Betroffene mangels sofortigen Siegelungsgesuches den Rechtsschutz verwirkt bzw. mit der Durchsuchung der Unterlagen rechnen muss. Die Information des betroffenen Inhabers über seine Verfahrensrechte muss rechtzeitig, das heisst spätestens nach Abschluss der Hausdurchsuchung, und inhaltlich ausreichend erfolgen. Dies gilt besonders bei juristischen Laien. Ein blosser Abdruck von Gesetzesbestimmungen auf der Rückseite der vom Inhaber unterzeichneten Formulare vermag als ausreichende Orientierung des betroffenen Laien über sein Siegelungsrecht regelmässig nicht zu genügen. Die Untersuchungsbehörde hat vielmehr verständliche Informationen (im oben genannten Sinne) rechtzeitig abzugeben. Dass eine solche Information erfolgt sei, hat die Untersuchungsbehörde (aus Gründen der Rechtssicherheit und in ihrem eigenen Beweissicherungsinteresse) ausdrücklich und nachvollziehbar zu protokollieren (vgl. Art. 143 Abs. 2 i.V.m. Abs. 1 lit. c StPO). Ohne den Nachweis einer ausreichenden Information des Betroffenen über seine Verfahrensrechte liegt keine rechtsgültige Einwilligung in die Durchsuchung vor und ist das Entsiegelungsgesuch nicht verspätet (vgl. zum Ganzen: Urteil 1B_85/2019 vom 8. August 2019 E. 4.2 mit Hinweisen).
2.4. Die Staatsanwaltschaft hat dem Bundesgericht den Hausdurchsuchungsbefehl und das Durchsuchungsprotokoll zur Hausdurchsuchung vom 17. März 2021 eingereicht. Dass der Beschwerdeführer, welcher juristischer Laie ist, anlässlich dieser Hausdurchsuchung rechtsgenügend über sein Recht auf Siegelung informiert worden wäre, ergibt sich daraus nicht. Der auf Seite 4 des Hausdurchsuchungsbefehls und auf Seite 2 des Durchsuchungsprotokolls enthaltene Hinweis auf Art. 248 StPO genügt nach der dargelegten Rechtsprechung insoweit nicht. Selbst wenn der Beschwerdeführer anlässlich der Hausdurchsuchung diese beiden Dokumente unterzeichnet hat, kann darin folglich kein rechtsgültiger Verzicht auf das Recht zur Einreichung eines Siegelungsgesuchs erblickt werden.
2.5. Die Rechtsvertreterin des Beschwerdeführers, welche in den beiden genannten Dokumenten der Staatsanwaltschaft (bereits) als erbetene Verteidigerin aufgeführt war, erfuhr nach eigenen Angaben erst am 18. März 2021 durch die Polizei von der Hausdurchsuchung. Dass es sich anders verhalten habe, machen die Staatsanwaltschaft und die Vorinstanz nicht geltend. Die Verteidigerin verlangte sodann einen Tag später, am 19. März 2021, resp. innert zwei Tagen nach der Hausdurchsuchung, die Siegelung. Angesichts des Umstands, dass eine gehörige Rechtsbelehrung durch die Staatsanwaltschaft nicht erfolgt war, kann dieses innert zwei Tagen nach der Hausdurchsuchung gestellte Gesuch nicht als verspätet bezeichnet werden (vgl. auch Urteil 1B_30/2020 vom 27. Mai 2020 E. 2.5).
3.
Die Beschwerde ist demnach gutzuheissen, das angefochtene Urteil aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Der Beschwerdeführer dringt durch. Es werden daher keine Gerichtskosten erhoben (Art. 66 Abs. 1 und 4 BGG). Der Kanton Zürich hat dem Beschwerdeführer eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und die Verfügung des Bezirksgerichts Zürich, Zwangsmassnahmengericht, vom 22. April 2021 aufgehoben. Die Sache wird zur neuen Beurteilung an das Zwangsmassnahmengericht zurückgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Zürich hat den Beschwerdeführer mit Fr. 2'000.-- zu entschädigen.
4.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Zürich-Limmat, Büro D-2, und dem Bezirksgericht Zürich, Zwangsmassnahmengericht, schriftlich mitgeteilt.
Lausanne, 17. August 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: König