Faits :
A.
A._ est propriétaire de la parcelle n° 7'062 du registre foncier de la commune de Plan-les-Ouates (ci-après: la commune), sise au chemin de la Mère-Voie 99. Sont érigés sur ce bien-fonds une villa avec piscine, deux garages extérieurs ainsi qu'un mur séparatif. Ce terrain, d'une surface de 3'616 m2, est situé en 5 ème zone, dite zone villa (cf. art. 58 ss de la loi genevoise du 14 avril 1988 sur les constructions et les installations diverses [LCI; RS/GE L 5 05]).
Le 9 janvier 2019, le Département du territoire du canton de Genève (ci-après: le Département) a constaté qu'une palissade en limite de la propriété de A._ avait été édifiée sans autorisation: un délai de dix jours a été octroyé à celui-ci pour se déterminer. Le 28 février 2019, l'architecte paysagiste en charge du projet a confirmé qu'aucune demande d'autorisation de construire concernant la palissade n'avait été déposée à l'époque de la construction de la villa: cette palissade s'inscrivait dans la logique d'aménagement de la parcelle, consistant à créer un filtre visuel végétalisé, paysager et sonore en périphérie de la propriété; tous les travaux avaient été réalisés en conformité de la loi, si bien qu'une régularisation de l'ouvrage était envisageable.
Le 5 mars 2019, A._, par l'intermédiaire de son architecte paysagiste, a déposé une demande d'autorisation de construire par procédure accélérée (APA) visant l'installation d'une palissade anti-bruit végétalisée en limite de sa propriété. Dans le cadre de l'instruction effectuée par le Département, le Service de l'air, du bruit et des rayonnements non ionisants (SABRA) de la Direction générale de l'environnement a relevé qu'il n'était pas concerné par le projet. Quant à la Commission d'architecture (CA), elle a indiqué qu'elle était défavorable à la construction d'un mur, même végétalisé, dans la mesure où celui-ci viendrait clore de manière excessive la parcelle en rompant l'harmonie du quartier. Invité à se déterminer sur ce préavis défavorable, A._ a relevé que des constructions du même type existaient déjà dans le quartier, dont certaines venaient clore de manière importante les parcelles et ne s'intégraient pas à l'harmonie végétale du quartier. Le 2 mai 2019, la CA, après avoir pris connaissance des nouveaux plans fournis, a émis, à nouveau, un préavis défavorable.
Par décision du 28 mai 2019, le Département a refusé de délivrer l'autorisation de construire sollicitée, dans la mesure où le projet n'était pas conforme aux art. 15, 79 et 112 LCI. Le même jour, il a en outre notifié à A._ un ordre de remise en état consistant en la suppression des palissades anti-bruit végétalisées, lui infligeant par ailleurs une amende administrative de 2'000 francs.
B.
A._ a recouru contre les deux décisions du 28 mai 2019 auprès du Tribunal administratif de première instance du canton de Genève (TAPI). Le 27 janvier 2020, le TAPI a procédé à un transport sur place en présence des parties.
Par jugement du 21 février 2020, le TAPI a admis partiellement le recours, a annulé l'ordre de suppression de la palissade anti-bruit végétalisée et l'a rejeté pour le surplus.
C.
Le Département a recouru contre le jugement du 21 février 2020 auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice). Par arrêt du 8 septembre 2020, celle-ci a admis le recours, a annulé le jugement du TAPI et a rétabli l'ordre de suppression de la palissade anti-bruit végétalisée du 28 mai 2019.
D.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du 8 septembre 2020.
Invitée à se déterminer, la Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. La commune de Plan-les-Ouates conclut implicitement à l'admission du recours, alors que le Département conclut à son rejet.
E.
Par ordonnance du 3 novembre 2020, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif, présentée par le recourant.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée.
Le recourant a pris part à la procédure de recours devant la Cour de justice. En tant que propriétaire destinataire du refus de permis de construire, de l'ordre de démolition et du prononcé d'amende administrative, le recourant est particulièrement touché par l'arrêt attaqué et peut ainsi se prévaloir d'un intérêt digne de protection à l'annulation de l'arrêt attaqué. Il a dès lors qualité pour recourir au sens de l'<ref-law>.
Les autres conditions de recevabilité sont au surplus réunies, si bien qu'il y a lieu d'entrer en matière.
2.
Le recourant se plaint d'une application arbitraire des art. 79 et 112 LCI. Il soutient aussi que la Cour de justice aurait appliqué arbitrairement le principe de la proportionnalité, en confirmant l'ordre de suppression de la palissade anti-bruit végétalisée. Ces griefs se confondent, de sorte qu'il y a lieu de les examiner ensemble.
2.1. Appelé à revoir l'interprétation d'une norme sous l'angle restreint de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. Il peut notamment s'avérer arbitraire d'interpréter une notion juridique de manière contraire à la doctrine et à la jurisprudence dominantes et de s'écarter en même temps, sans motivation objective, d'une jurisprudence cantonale bien établie en relation avec cette notion (<ref-ruling> consid. 4.4.1 p. 113; <ref-ruling> consid. 2 p. 139). En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît concevable (cf. <ref-ruling> consid. 4.4.1 p. 113; <ref-ruling> consid. 1.2 p. 177).
Le grief de violation du droit cantonal est soumis à des exigences de motivation accrue (<ref-law>; cf <ref-ruling> consid. 2.1 p. 372).
2.2. Le refus d'autorisation de construire est notamment fondé sur l'art. 15 LCI, soit une norme générale d'esthétique. Lorsqu'il s'agit d'examiner l'application de clauses d'esthétique, le Tribunal fédéral fait preuve de retenue dans l'appréciation des circonstances locales. Dans ce domaine, les autorités locales disposent en effet d'un large pouvoir d'appréciation (cf. <ref-ruling> consid. 3.2.2 p. 165; <ref-ruling> consid. 4.3 p. 416). C'est le cas notamment lorsqu'il s'agit de savoir si une construction ou une installation est de nature à compromettre l'aspect ou le caractère d'un site, d'une localité, d'un quartier ou d'une rue (<ref-ruling> consid. 3d p. 118; arrêt 1C_104/2020 du 23 septembre 2020 consid. 2.3).
2.3. L'art. 79 LCI prévoit qu'en 5ème zone, "sous réserve des murs de soutènement et des murets de 80 cm de hauteur au maximum, le département peut refuser les murs séparatifs qui ne sont pas intégrés à un bâtiment".
L'art. 79 LCI concrétise une volonté d'éviter la prolifération de murs en 5ème zone, dont la justification n'est pas établie et qui seraient nuisibles à l'environnement et à l'esthétique des lieux (Mémorial du Grand Conseil genevois [MGC] 1988/II 1643). Il a été convenu, dans le rapport de la commission parlementaire, que le département ne refuserait les murs séparatifs que si ceux-ci faisaient l'objet d'un préavis négatif de la commission consultative compétente ou si le requérant n'apportait pas de justifications suffisantes à leur réalisation (MGC 1988/II 1628; arrêt de la Chambre administrative de la Cour de justice ATA/1828/2019 du 17 décembre 2019 consid. 7c).
A teneur de l'art. 112 LCI, "les murs en bordure d'une voie publique ou privée, ou entre deux propriétés ne peuvent, dans la mesure où ils sont autorisés, excéder une hauteur de 2 m. Le département peut exiger que les ouvrages autorisés soient distants jusqu'à 1.20 m du bord d'une voie publique ou privée. Il peut, en outre, exiger la plantation de végétation". L'un des buts poursuivi par l'art. 112 LCI est la préservation du caractère privé des jardins (MGC 1961 II 1314; arrêt de la Chambre administrative de la Cour de justice ATA/20/2015 du 6 janvier 2015 consid. 8).
2.4. Selon la jurisprudence, l'autorité peut renoncer à un ordre de démolition, conformément au principe de la proportionnalité, si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (<ref-ruling> consid. 6 p. 35; <ref-ruling> consid. 3a/bb p. 252). Celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (ATF <ref-ruling> consid. 4a p. 255; <ref-ruling> consid. 6b p. 224 et la jurisprudence citée).
2.5. En l'occurrence, la palissade anti-bruit végétalisée a une hauteur de 190 cm. Elle repose cependant sur un mur de soutènement dont la hauteur varie de 0 cm à 218 cm. Ainsi, la paroi séparant la propriété de la soeur du recourant (parcelle n° 10'941) du jardin de celui-ci culmine à 408 cm (218 cm de mur de soutènement et 190 cm de palissade). Les autres coupes du plan attestent qu'en définitive le point le plus haut de la paroi anti-bruit végétalisée atteint, suivant les endroits, 200 cm, 308 cm, 319 cm, 190 cm, 216 cm et 250 cm.
La Cour de justice a considéré que s'il était vrai que le niveau du terrain entre la parcelle du recourant et les parcelles voisines avait pour conséquence que la hauteur de l'entier de l'ouvrage était augmentée, cela ne saurait justifier un dépassement de la hauteur maximale prévue par l'art. 112 LCI, le caractère privé du jardin du recourant, ainsi que les éventuelles nuisances provenant du voisinage et de la voie publique, pouvant être sauvegardés par le mur de soutènement seul (par exemple la coupe E-E') ou par les nombreux arbres feuillus se trouvant juste derrière la palissade litigieuse, dans le jardin du recourant, comme cela ressortait des plans et des photographies figurant au dossier ou encore par un mur d'ores et déjà présent entre le jardin du recourant et celui d'un voisin (parcelle n° 10'568; coupe G-G').
Pour l'instance précédente, il faut certes prendre en considération les montants avancés dans le seul devis concernant la démolition des parois anti-bruit avec maintien du mur de soutènement, et travaux d'arrachage et de replantation des plantations impactées, qui semble très élevé (497'292.42 francs). Cependant, l'intérêt public consistant à éviter la prolifération de murs en 5ème zone, à éviter l'effet de cloisonnement relevé par l'instance spécialisée en la matière qui est incompatible avec ce type de quartier, et l'intérêt au rétablissement de la situation conformément au droit prévalent sur l'intérêt privé du recourant au maintien de la paroi litigieuse. La cour cantonale a ajouté qu'il ne ressortait pas du dossier que le coût de la remise en état des lieux mettrait le recourant en difficulté financièrement; à cet effet elle s'est référée à la jurisprudence du Tribunal fédéral qui a considéré que le montant important de la remise en état n'était pas à lui seul décisif (arrêts 1C_29/2016 du 18 janvier 2017 consid. 7.2 qui concernait une remise en état pour un montant de l'ordre de 200'000 francs; 1C_136/2009 du 4 novembre 2009 qui concernait une remise en état pour un montant estimé à 300'000 francs). En définitive, elle a jugé que l'intérêt privé du recourant relevait uniquement de sa convenance personnelle et de considérations économiques, qui ne sauraient prévaloir sur l'intérêt public tel que démontré ci-dessus.
2.6. Face à cette argumentation, le recourant se contente d'avancer que, s'agissant de l'intérêt public, aucune disposition légale n'interdit les haies en limite de propriété; étant donné que c'est l'aspect visuel créé par les murs en limite de propriété qui justifie leur limitation (et que l'aspect visuel de la palissade végétalisée litigieuse n'est pas comparable à celui d'un mur mais à celui d'une haie), ce serait de manière arbitraire que la cour cantonale aurait appliqué à la construction litigieuse l'art. 79 LCI ainsi que sa jurisprudence concernant les murs. Ce faisant, le recourant oublie que les parois anti-bruit végétalisées litigieuses doivent être distinguées des haies. Le Département a expliqué à cet égard qu'en cas de dépérissement ou de suppression de la végétation couvrant la paroi, celle-ci apparaîtra pleinement à la vue, contrairement à une haie qui, si elle dépérit ou est supprimée, ne laisse subsister qu'un vide. Le recourant ne parvient ainsi pas à démontrer que la solution retenue par l'autorité cantonale serait en contradiction manifeste avec la situation effective, ni que l'intérêt public aurait été arbitrairement déterminé.
Le recourant critique encore la cour cantonale en ce qu'elle a jugé que la hauteur de la palissade ne constituait pas un dépassement mineur de la limite de 2 m fixée par l'art. 112 LCI. Il lui reproche de ne pas avoir pris suffisamment en compte qu'en plusieurs endroits, ce mur était un mur de soutènement qui compensait la différence de niveau entre la parcelle du recourant et la parcelle voisine: or aucun élément au dossier ne permettait de connaître l'état du terrain naturel avant l'édification du mur de soutènement. Il prétend que selon l'art. 242 du règlement d'application de la loi sur les constructions et installations diverses du 27 février 1978 (RCI; RS/GE L 5 05.01), le gabarit en 5ème zone devrait être mesuré à partir du niveau moyen du terrain naturel lorsque celui-ci est en pente. Le recourant perd toutefois de vue que l'art. 242 RCI ne trouve pas application en l'espèce car il s'applique à "la distance entre bâtiment et limite de propriété, à la surface de la parcelle et aux lucarnes dans les toitures". De plus, le recourant ne conteste pas que la hauteur finale de la palissade atteint, à l'endroit le plus haut, plus du double de la limite de 2 m prévue par l'art. 112 LCI. Il ne nie pas non plus que l'art. 112 LCI est applicable dans la mesure où il s'agit d'un mur de soutènement et que, selon la jurisprudence cantonale, il convient d'additionner la hauteur du mur de soutènement à celle de la palissade. Il ne parvient ainsi pas à démontrer que la Cour de justice aurait apprécié arbitrairement l'importance du dépassement maximum de gabarit.
Le recourant dénonce enfin la balance des intérêts opérée par la Cour de justice. Il soutient que l'intérêt public à combattre une palissade végétalisée ne saurait l'emporter sur l'intérêt privé du recourant à assurer l'intimité de sa parcelle et à éviter un dommage pécuniaire considérable si la paroi végétalisée devait être enlevée et remplacée par une haie. Il reproche aux juges cantonaux d'avoir considéré que l'intérêt du recourant au maintien de la palissade végétalisée litigieuse procédait uniquement de sa convenance personnelle et de considérations économiques: cette "vision réductrice et injustifiée de l'intérêt privé du recourant" serait contraire à la ratio legis de l'art. 112 LCI autorisant l'édification de murs le long des limites de propriété.
Cette appréciation ne suffit cependant pas à démontrer le caractère manifestement insoutenable de celle de la Cour de justice, ce d'autant moins que le Tribunal de céans s'impose une retenue dans l'appréciation des circonstances locales. La pesée des intérêts opérée par le recourant est en effet l'expression d'une appréciation subjective des éléments pertinents, qui ne rend pas déraisonnable l'argumentation de l'instance précédente, ce d'autant moins que le recourant n'expose pas que la palissade anti-bruit répondrait à un besoin de protection contre le bruit: le Service de l'air, du bruit et des rayonnements non ionisants s'est en effet déclaré non concerné dans son préavis du 14 mars 2019. Le recourant n'établit pas non plus que les coûts qu'il aurait à supporter pour démolir les palissades seraient insupportables au regard de sa situation financière.
2.7. En définitive, la Cour de justice pouvait considérer sans arbitraire que le Département n'avait pas violé le droit cantonal en jugeant que l'autorisation de construire litigieuse n'était pas conforme aux art. 79, 112 et 15 LCI et que l'ordre de suppression de la paroi anti-bruit végétalisée respectait le principe de la proportionnalité.
3.
Il s'ensuit que le recours doit être rejeté.
Conformément à l'<ref-law>, les frais judiciaires sont mis à la charge du recourant qui succombe. Le Département, qui a agi dans le cadre de ses attributions officielles, n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires du recourant et de la Commune de Plan-les-Ouates, ainsi qu'au Département du territoire du canton de Genève et à la Cour de justice du canton de Genève, Chambre administrative.
Lausanne, le 25 février 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Tornay Schaller