Faits : A. A._ exploite depuis 1992, sous la forme d'une raison individuelle, un cabinet de médecin-dentiste à Genève. Il occupe entre dix et dix-neuf employés, selon les données disponibles au 29 juin 2018 sur le registre des entreprises genevoises. B. Par décision du 26 mars 2018, la Ville de Genève a constaté que le cabinet dentaire de A._ était un " moyen producteur " de déchets au sens de l'art. 5 al. 2 du règlement communal du 20 décembre 2017 sur la gestion des déchets (ci-après: RCGD), et non une " micro-entreprise " pour laquelle les déchets assimilables à des ordures ménagères devaient être collectés et éliminés par la Ville en vertu de l'art. 11 al. 1 RCGD. Elle a ainsi invité l'intéressé à conclure avec un prestataire privé un contrat pour l'élimination des déchets de l'entreprise assimilables aux ordures ménagères, comme le prévoyait l'art. 12 al. 1 RCGD s'agissant des " moyens producteurs ". Par jugement du 2 novembre 2018, le Tribunal administratif de première instance de la République et canton de Genève a rejeté le recours formé par A._ contre la décision susmentionnée. Le recours formé par A._ contre le jugement du 2 novembre 2018 a été admis par arrêt du 10 septembre 2019 de la Chambre administrative de la Cour de justice (ci-après: la Cour de justice). Le jugement attaqué a partant été annulé et la cause renvoyée à la Ville de Genève pour nouvelle décision au sens des considérants. La Cour de justice a estimé que la Ville ne pouvait pas se fonder sur le nombre d'emplois, sans indication en termes d'équivalent de postes d'emploi à plein temps (ci-après: ETP), pour délimiter les " moyens producteurs " de déchets et dès lors les entreprises devant assurer elles-mêmes la collecte, le transport et l'élimination de leurs ordures ménagères et celles assimilées. Il appartenait ainsi à la Ville de qualifier de " micro-entreprises " toutes les entités commerciales qui, comme celle de A._, comptaient moins de huit ETP. C. La Ville de Genève, agissant par l'intermédiaire du Département de l'environnement urbain et de la sécurité, dépose un recours en matière de droit public au Tribunal fédéral. Elle conclut, avec suite de frais et dépens, principalement à l'annulation de l'arrêt de la Cour de justice du 10 septembre 2019 et à la confirmation de sa propre décision du 26 mars 2018, en tant qu'elle concerne A._. Elle demande subsidiairement l'annulation de l'arrêt attaqué et le renvoi de la cause à la Cour de justice pour nouvelle décision dans le sens des considérants. La Cour de justice n'a pas déposé d'observations, s'en rapportant à justice quant à la recevabilité du recours et persistant dans les considérants et le dispositif de son arrêt. A._ conclut, avec suite de frais et dépens, à l'irrecevabilité du recours, subsidiairement à son rejet. Egalement invité à se déterminer, l'Office fédéral de l'environnement (OFEV) n'a pas déposé d'observations. La Ville de Genève a répliqué. Invités à se déterminer sur la portée du droit fédéral dans la présente cause, en particulier sur celle des art. 31b et 31c de la loi fédérale sur la protection de l'environnement (LPE; RS 814.01) et de l'art. 3 let. a de l'ordonnance sur la limitation et l'élimination des déchets (OLED, RS 814.600), A._, la Ville de Genève et l'OFEV ont présenté des observations.