Sachverhalt und Erwägungen:
1.
Die Zuger Polizei führt gegen A._ eine Voruntersuchung betreffend Widerhandlung gegen das Gemeindegesetz. Ihr wird vorgeworfen, sich in der Stadt Zug angemeldet zu haben, ohne dort tatsächlich effektiven Wohnsitz genommen zu haben. Der Polizist B._ ist mit der entsprechenden Untersuchung betraut.
Mit Schreiben vom 12. April 2021 reichte A._ ein Ausstandsgesuch gegen den Polizisten B._ ein. Die Staatsanwaltschaft des Kantons Zug lehnte dieses mit Verfügung vom 30. April 2021 ab.
Dagegen hat A._ Beschwerde in Strafsachen beim Bundesgericht erhoben. Sie beantragt die Aufhebung der angefochtenen Verfügung und die Gutheissung des Ausstandsgesuchs gegen den Polizisten B._. Eventualiter sei das Verfahren an die Vorinstanz zurückzuweisen. Die Staatsanwaltschaft des Kantons Zug und der Beschwerdegegner verzichten auf eine Vernehmlassung.
2.
Beim angefochtenen Entscheid handelt es sich um einen selbstständig anfechtbaren, kantonal letztinstanzlichen Zwischenentscheid über den Ausstand (Art. 59 Abs. 1 lit. a i.V.m. <ref-law>). Dagegen steht grundsätzlich die Beschwerde in Strafsachen an das Bundesgericht offen (<ref-law> und <ref-law>). Als beschuldigte Person ist die Beschwerdeführerin zur Beschwerde berechtigt (Art. 81 Abs. 1 lit. a und b BGG). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, weshalb auf die Beschwerde einzutreten ist.
3.
In formeller Hinsicht rügt die Beschwerdeführerin eine Verletzung ihres rechtlichen Gehörs (<ref-law>). Ihr sei die Stellungnahme des Beschwerdegegners nicht eröffnet und somit keine Gelegenheit gegeben worden, sich zu dieser zu äussern.
3.1. Die Schweizerische Strafprozessordnung verpflichtet die vom Ausstandsgesuch betroffene Person in <ref-law>, zu diesem Stellung zu nehmen. Gemäss der bundesgerichtlichen Rechtsprechung ist diese Stellungnahme der gesuchstellenden Partei mit Blick auf deren Anspruch auf rechtliches Gehör zur Replik zuzustellen (<ref-law>; <ref-ruling> E. 2.1; Urteile 1B_649/2020 vom 10. Februar 2021 E. 2.1; 1B_376/2020 vom 11. September 2020 E. 2.1; 1B_214/2019 vom 25. Juni 2019 E. 2.1; 1B_10/2019 vom 21. Januar 2019 E. 2.3; 1B_233/2016 vom 27. Juli 2016 E. 2.2).
3.2. Vorliegend wird aus den Akten nicht ersichtlich, dass die Staatsanwaltschaft des Kantons Zug der Beschwerdeführerin die Stellungnahme des Beschwerdegegners zur Stellungnahme hätte zukommen lassen. Die Staatsanwaltschaft macht denn auch nicht geltend, diese zugestellt zu haben. Somit hatte die Beschwerdeführerin keine Gelegenheit, sich zur Stellungnahme des Beschwerdegegners zu äussern; die Verletzung ihres rechtlichen Gehörs ist offenkundig.
3.3. Die Beschwerde ist offensichtlich begründet, weshalb sie im vereinfachten Verfahren nach <ref-law> erledigt wird. Es erübrigt sich bei dieser Ausgangslage, die weiteren erhobenen Rügen zu behandeln.
4.
Die Verfügung der Staatsanwaltschaft des Kantons Zug vom 30. April 2021 wird aufgehoben und die Sache wird an die Vorinstanz zurückgewiesen. Diese hat erneut über das Ausstandsgesuch zu befinden, nachdem sie der Beschwerdeführerin die Gelegenheit gegeben hat, sich zur Stellungnahme des Beschwerdegegners zu äussern.
5.
Bei diesem Ausgang des Verfahrens obsiegt die Beschwerdeführerin. Der Kanton Zug hat ihr eine Parteientschädigung zu bezahlen (<ref-law>). Es sind keine Gerichtskosten zu erheben (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und die Verfügung der Staatsanwaltschaft des Kantons Zug vom 30. April 2021 aufgehoben. Die Sache wird dieser zur Neubeurteilung zurückgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Zug hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und der Staatsanwaltschaft des Kantons Zug, III. Abteilung, schriftlich mitgeteilt.
Lausanne, 26. August 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Die Gerichtsschreiberin: Hänni