Sachverhalt:
A.
Die A._ AG ist Eigentümerin der Parzelle Nr. 228, Grundbuch Arbon. Die Parzelle befindet sich zum Teil in der Zentrumszone und teilweise in der Erholungs- und Grünzone. Sie wird zudem von der Zone archäologische Funde, der Umgebungsschutzzone und der Ortsbildschutzzone 2 überlagert. Auf der Parzelle befindet sich das Hotel und Restaurant "B._".
Im April 2017 stellte die Politische Gemeinde Arbon (im Folgenden: Gemeinde Arbon) fest, dass auf der genannten Parzelle ohne Baubewilligung eine Beschattungsanlage für das Gartenrestaurant ("Struktur 1") und eine weitere Beschattungsanlage ("Struktur 2") mit einer Gartenbar erstellt worden waren. Die beiden Beschattungsanlagen befinden sich in der Erholungs- und Grünzone.
Mit Entscheid vom 20. November 2017 bewilligte die Gemeinde Arbon nachträglich die Struktur 1 und verweigerte eine nachträgliche Baubewilligung für die Struktur 2. Zugleich ordnete sie den Rückbau der Struktur 2 an.
B.
Hiergegen erhoben sowohl die A._ AG als auch der Thurgauer Heimatschutz Rekurs. Das Departement für Bau und Umwelt des Kantons Thurgau (im Folgenden: Departement) hiess mit Entscheid vom 27. Februar 2020 den Rekurs des Thurgauer Heimatschutzes gut und wies das Rechtsmittel der A._ AG ab. Es hob die nachträgliche Baubewilligung für die Struktur 1 auf. Das Departement bestätigte ferner die Verweigerung der nachträglichen Baubewilligung sowie die Rückbauverfügung betreffend die Struktur 2. Mit Bezug auf die Struktur 1 wurde die Gemeinde Arbon angewiesen, die Wiederherstellung des rechtmässigen Zustandes zu prüfen.
C.
Gegen den Rekursentscheid erhob die A._ AG am 19. März 2020 Beschwerde beim Verwaltungsgericht des Kantons Thurgau. Mit Schreiben vom 18. August 2020 erklärte sie, die unbewilligte Gartenbar sei zurückgebaut worden und bilde demnach nicht mehr Gegenstand des Verfahrens.
Nach durchgeführtem Augenschein hiess das Verwaltungsgericht die Beschwerde mit Urteil vom 3. März 2021 insoweit gut, als es die Gemeinde Arbon verpflichtete, der A._ AG für das Rekursverfahren vor dem Departement eine Entschädigung von Fr. 500.-- zu bezahlen. Im Übrigen wies es das Rechtsmittel ab.
Anlass für die neu zugesprochene Entschädigung gab nach den Erwägungen des Verwaltungsgerichts eine im Einspracheverfahren begangene und im Rekursverfahren geheilte Verletzung des rechtlichen Gehörs der A._ AG.
D.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 27. Mai 2021 beantragt die A._ AG beim Bundesgericht, das Urteil des Verwaltungsgerichts vom 3. März 2021 aufzuheben und die Sache zu neuem Entscheid an das Departement resp. eventualiter an die Gemeinde Arbon zurückzuweisen.
Der Thurgauer Heimatschutz beantragt, auf die Beschwerde sei nicht einzutreten und eventualiter sei das Rechtsmittel abzuweisen. Das Departement und das Verwaltungsgericht schliessen auf Abweisung der Beschwerde. Die Gemeinde Arbon verzichtet auf eine Stellungnahme zur Sache.
Mit Präsidialverfügung vom 6. Juli 2021 erteilte das Bundesgericht der Beschwerde in Bezug auf einen allfälligen Rückbau der Strukturen 1 und 2 aufschiebende Wirkung.
Die Beschwerdeführerin hält mit Eingabe vom 16. August 2021 an ihrem Rechtsmittel fest.

Erwägungen:
1.
1.1. Soweit das angefochtene Urteil des Verwaltungsgerichts die Bewilligungsfähigkeit der beiden Beschattungsanlagen und die Rückbauanordnung in Bezug auf die Struktur 2 betrifft, handelt es sich um einen kantonal letztinstanzlichen Endentscheid, gegen welchen die Beschwerde in öffentlich-rechtlichen Angelegenheiten offensteht (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie <ref-law>). Ein Ausschlussgrund nach <ref-law> liegt nicht vor.
1.2.
1.2.1. Soweit die Vorinstanz die Anordnung des Departements bestätigte, wonach die Gemeinde hinsichtlich der Struktur 1 die Wiederherstellung des rechtmässigen Zustandes zu prüfen habe, schliesst das angefochtene Urteil das baurechtliche Verfahren nicht ab. Insoweit liegt damit grundsätzlich kein Endentscheid im Sinne von <ref-law>, sondern ein Zwischenentscheid vor.
1.2.2. Zwischenentscheide sind, von hier nicht gegebenen Ausnahmen gemäss <ref-law> abgesehen, nur unter den Voraussetzungen von <ref-law> beim Bundesgericht anfechtbar. Anders verhält es sich einzig dann, wenn der unteren Instanz, an welche die Sache zurückgewiesen wird, kein Entscheidungsspielraum mehr verbleibt und die Rückweisung nur noch der Umsetzung des oberinstanzlich Angeordneten dient (<ref-ruling> E. 1.2 mit Hinweisen). Letzteres ist vorliegend nicht der Fall.
1.2.3. Die Beschwerde gegen einen selbstständig eröffneten Zwischenentscheid ist nur zulässig, wenn dieser einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (<ref-law>). Die Eintretensvoraussetzungen von <ref-law> sollen das Bundesgericht entlasten, dieses soll sich möglichst nur einmal mit einer Sache befassen (<ref-ruling> E. 1.3.2). Ist die Beschwerde gegen einen Zwischenentscheid gemäss <ref-law> nicht zulässig oder wurde von ihr kein Gebrauch gemacht, bleibt der Zwischenentscheid im Rahmen einer Beschwerde gegen den Endentscheid anfechtbar, sofern er sich auf dessen Inhalt auswirkt (<ref-law>).
1.2.4. Nach konstanter Rechtsprechung hat die beschwerdeführende Person im Einzelnen darzulegen, inwiefern die Beschwerdevoraussetzungen nach <ref-law> erfüllt sind, ansonsten auf die Beschwerde mangels hinreichender Begründung nicht einzutreten ist (<ref-ruling> E. 1.1; <ref-ruling> E. 4; je mit Hinweisen). Die Beschwerdeführerin äussert sich, was die Frage der Wiederherstellung des rechtmässigen Zustandes im Zusammenhang mit der Struktur 1 betrifft, nicht zu den Beschwerdevoraussetzungen nach <ref-law>. Die Beschwerdevoraussetzungen sind insoweit auch nicht offensichtlich gegeben.
Vor diesem Hintergrund ist auf die Beschwerde insoweit nicht einzutreten, als damit beantragt wird, das angefochtene Urteil sei hinsichtlich der Anordnung betreffend eine allfällige Wiederherstellung des rechtmässigen Zustandes im Zusammenhang mit der Struktur 1 aufzuheben.
1.3. Die Beschwerdeführerin ist als Eigentümerin des betroffenen Grundstücks, Gesuchstellerin und direkte Adressatin des angefochtenen Entscheids gemäss <ref-law> zur Beschwerde legitimiert.
1.4. Die Beschwerde hat ein Rechtsbegehren zu enthalten (<ref-law>). Da die Beschwerde an das Bundesgericht ein reformatorisches Rechtsmittel ist (<ref-law>), muss in der Beschwerdeschrift angegeben werden, welche Punkte des Entscheids angefochten und welche Abänderungen beantragt werden. Grundsätzlich ist ein materieller Antrag erforderlich; Anträge auf Rückweisung der Sache an die Vorinstanz zu neuer Entscheidung oder blosse Aufhebungsanträge genügen hingegen prinzipiell nicht (vgl. <ref-ruling> E. 1.3; <ref-ruling> E. 1.3; <ref-ruling> E. 3.1; s. allerdings auch <ref-ruling> E. 1.4.1).
Die Beschwerdeführerin beantragt in ihrer Beschwerdeschrift lediglich, die Sache sei unter Aufhebung des angefochtenen Urteils an das Departement resp. eventualiter an die Gemeinde Arbon zurückzuweisen. Weil sie aber eine Gehörsverletzung rügt und die Rückweisung der Angelegenheit beantragt, schliesst der vorliegende Beschwerdeantrag ein Eintreten auf das Rechtsmittel nicht aus (vgl. Urteil 2C_253/ 2016 vom 10. November 2016 E. 1.3).
1.5. Gemäss der elektronischen Sendungsverfolgung "Track & Trace" der Schweizerischen Post erfolgte der Versand des angefochtenen Entscheids an die Beschwerdeführerin am 20. April 2021 und wurde am Folgetag ein Abholzettel ins Postfach ihres Rechtsvertreters gelegt. Dieser hat die Sendung sodann am 27. April 2021 (innert der siebentägigen Abholfrist) am Postschalter abgeholt. Entgegen der Auffassung des Beschwerdegegners erfolgte damit die massgebliche Zustellung nicht am 21. April 2021, sondern erst am 27. April 2021 (vgl. zum Zeitpunkt der Zustellung bei eingeschriebenen Sendungen <ref-ruling> E. 1.2.3 mit Hinweisen). Nichts daran ändern kann der Umstand, dass der Beschwerdegegner den Entscheid am 21. April 2021 zugestellt erhielt. Da der Zeitpunkt der Zustellung an den Rechtsvertreter massgebend ist (vgl. <ref-ruling> E. 2.5 mit Hinweisen), ist - anders als der Beschwerdegegner suggeriert - auch nicht entscheidend, ob die Beschwerdeführerin (bzw. deren Geschäftsführer) schon vor dem 27. April 2021 Kenntnis vom angefochtenen Urteil erlangt hat.
Nach dem Gesagten wurde die 30-tägige Beschwerdefrist mit der Beschwerde vom 27. Mai 2021 eingehalten (vgl. Art. 44 Abs. 1 i.V.m. <ref-law>).
1.6. Im Übrigen geben die Prozessvoraussetzungen zu keinen Bemerkungen Anlass. Mit der genannten Einschränkung (E. 1.2) ist auf die Beschwerde einzutreten.
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet dieses von Amtes wegen an (<ref-law>), prüft die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, welche von der Beschwerdeführerin geltend gemacht und begründet werden (vgl. <ref-law>). Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten gerügt wird (<ref-law>). Die Anwendung von kantonalem Recht überprüft das Bundesgericht grundsätzlich nur auf Willkür und bloss insoweit, als eine solche Rüge in der Beschwerde präzis vorgebracht und begründet wird (<ref-law> i.V.m. <ref-law> und <ref-law>).
2.2. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Von der beschwerdeführenden Person kann die Feststellung des Sachverhalts wiederum nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich (<ref-law>) ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (vgl. <ref-law>). Eine entsprechende Rüge ist substantiiert vorzubringen (<ref-law> i.V.m. <ref-law>).
Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>), was in der Beschwerde näher darzulegen ist. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können (<ref-ruling> E. 1.2 mit Hinweisen). Tatsachen oder Beweismittel, welche sich auf das vorinstanzliche Prozessthema beziehen, jedoch erst nach dem angefochtenen Entscheid eingetreten oder entstanden sind (sog. echte Noven), können nicht durch den vorinstanzlichen Entscheid veranlasst worden sein und sind im bundesgerichtlichen Verfahren unzulässig (<ref-ruling> E. 4.1.4; <ref-ruling> E. 5.2.4; <ref-ruling> E. 7.2; je mit Hinweisen).
3.
3.1. Die Beschwerdeführerin rügt sinngemäss, die Protokolle zu den Augenscheinen vom 7. Juni 2018 und 15. Juni 2019 seien unvollständig. Im Einzelnen macht sie geltend, das Protokoll des vom Departement durchgeführten Augenscheins vom 7. Juni 2018 enthalte zu Unrecht keine Feststellungen über die vorgefundenen Umstände. Insbesondere fehlten darin Ausführungen zum Standort, wo die Teilnehmenden ihre im Protokoll festgehaltenen mündlichen Ausführungen gemacht haben sollen. Ferner bringt die Beschwerdeführerin vor, die dem Protokoll zum Augenschein vom 15. Januar 2019 angehefteten Fotografien seien infolge Unterbelichtung der Beschattungsanlagen von schlechter Qualität. Sie würden einen ganz anderen Eindruck erwecken, als er sinnlich anlässlich dieses Augenscheins habe gewonnen werden können. Der tatsächlich anlässlich dieses Augenscheins erhaltene Eindruck sei zu Unrecht nicht protokolliert worden.
3.2. Aufgrund der Pflicht zur Protokollierung von Augenscheinen, die sich aus dem Anspruch der Verfahrensbeteiligten auf rechtliches Gehör (<ref-law>) ergibt, sind grundsätzlich die Ergebnisse des Augenscheins, insbesondere die von der Behörde vor Ort gemachten Feststellungen und Wahrnehmungen, ihrem wesentlichen Inhalt nach schriftlich zu protokollieren, allenfalls ergänzt mit Fotos, Plänen etc. (<ref-ruling> E. 2.3 mit Hinweis).
3.3. Die genannten Ausführungen der Beschwerdeführerin lassen nicht auf eine Unvollständigkeit der Augenscheinprotokolle bzw. eine Verletzung der erwähnten Protokollierungspflicht schliessen:
Zum einen wird nicht substantiiert, inwiefern die angeblich fehlenden Ausführungen zum Standort der Beteiligten am Augenschein vom 7. Juni 2018 wesentlich sein sollen und deshalb hätten protokolliert werden müssen. Das Protokoll enthält unbestrittenermassen die von den Beteiligten anlässlich des Augenscheins gemachten Ausführungen fest. Dass damit der wesentliche Inhalt der gemachten Feststellungen sowie Wahrnehmungen nicht vollständig protokolliert worden wäre, ist nicht ersichtlich.
Zum anderen bringt die Beschwerdeführerin zwar vor, die an das Protokoll des Augenscheins vom 15. Januar 2019 angehefteten Fotografien seien infolge Unterbelichtung von schlechter Qualität. Die entsprechenden Fotos können aber entgegen ihrer Auffassung nicht als irreführend bezeichnet werden. Auch wenn sie nicht unter idealen Lichtverhältnissen aufgenommen wurden, zeigen die Fotografien nämlich kein wesentlich anderes Bild als die weiteren aktenkundigen, namentlich am Augenschein vom 21. Oktober 2020 aufgenommenen Fotografien.
Nach dem Gesagten wurde im angefochtenen Urteil in bundesrechtskonformer Weise erklärt, die Ergebnisse der Augenscheine seien namentlich mit den Fotoaufnahmen zum Augenschein vom 15. Januar 2019 in rechtsgenügender Weise festgehalten worden.
4.
Sodann macht die Beschwerdeführerin geltend, beim Augenschein vom 15. Januar 2019 seien lediglich einzelne Vertreter, aber keine Mitglieder der Eidgenössischen Kommission für Denkmalpflege (EKD) und der Eidgenössischen Natur- und Heimatschutzkommission (ENHK) anwesend gewesen. Das entsprechende Augenscheinprotokoll und das gestützt darauf erstellte Gutachten dieser beiden Kommissionen seien deshalb nicht verwertbar.
4.1. Am Augenschein vom 15. Januar 2019 war unbestrittenermassen namentlich C._ anwesend. Diese war gemäss dem allgemein zugänglichen Jahresbericht 2019 der EKD in diesem Jahr Mitglied der Kommission. Die Rüge, es sei kein Mitglied der EKD zugegen gewesen, ist damit nicht stichhaltig.
4.2. Gemäss Art. 7 Abs. 2 des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451) verfasst die ENHK zuhanden der Entscheidbehörde ein Gutachten, wenn bei der Erfüllung der Bundesaufgabe ein Objekt, das in einem Inventar des Bundes aufgeführt ist, erheblich beeinträchtigt werden kann oder sich in diesem Zusammenhang grundsätzliche Fragen stellen. Nach <ref-law> mit der Marginalie "Fakultative Begutachtung" kann die Kommission in wichtigen Fällen von sich aus in jedem Stadium des Verfahrens ihr Gutachten über die Schonung oder ungeschmälerte Erhaltung von Objekten abgeben.
Vorliegend geht es nicht um die Erfüllung einer Bundesaufgabe, bei welcher entsprechend dieser Ordnung ein Gutachten der ENHK zwingend vorgeschrieben wäre. Weil somit nur eine fakultative Begutachtung durch die ENHK erfolgte, spielt für die Frage der Verwertbarkeit des Augenscheinprotokolls und des Gutachtens der EDK sowie der ENHK keine Rolle, ob am Augenschein vom 15. Januar 2019 Personen teilnahmen, welche letztere Behörde rechtsgültig (als Kommissionsmitglieder oder aufgrund einer Ermächtigung durch Kommissionsmitglieder) vertreten konnten. Denn mangels Pflicht zur Begutachtung war es der ENHK nicht verwehrt, ihre fakultative Stellungnahme als ein gestützt auf Fotodokumentationen erstelltes Aktengutachten abzugeben.
4.3. Das erwähnte Vorbringen der Beschwerdeführerin ist vor diesem Hintergrund nicht stichhaltig.
5.
Die Beschwerdeführerin macht auch geltend, die Chefin des Departements habe zu Unrecht gestützt auf unzuverlässige Unterlagen entschieden, indem sie das Augenscheinprotokoll vom 7. Juni 2018 herangezogen habe. Da dieses Protokoll aber - wie gesehen - nicht als unvollständig zu qualifizieren ist (vgl. E. 3.3), kann nicht die Rede davon sein, dass vorliegend unzuverlässige Unterlagen als Entscheidungsgrundlage herangezogen worden wären. Das erwähnte Vorbringen der Beschwerdeführerin ist somit unbegründet.
6.
Sinngemäss rügt die Beschwerdeführerin ferner, die Vorinstanz habe den Sachverhalt auf willkürliche Weise festgestellt. Die Vorinstanz habe übergangen, dass die fraglichen Beschattungsanlagen gemäss den dem Baugesuch beiliegenden Fotos von dezenter Farbe, durchsichtig und vor dem Hintergrund verschwindend seien. Die Struktur 1 sei überhaupt nicht wahrnehmbar. Die Struktur 2 verdecke zwar das dahinterliegende Haupthaus des Hotels "B._", sei aber so platziert, dass der Blick auf D._ und E._ frei bleibe. Aus einer etwas grösseren Distanz würden die Beschattungsanlagen nicht auffallen.
Gemäss der Würdigung der Vorinstanz zeigen an einem verwaltungsgerichtlichen Augenschein vom 21. Oktober 2020 erstellte Fotoaufnahmen, dass die streitbetroffenen Strukturen als markante und dominante Konstruktionen in Erscheinung treten. Dass diese Würdigung und/oder die weiteren tatsächlichen Feststellungen im angefochtenen Urteil willkürlich wären, ist auch unter Berücksichtigung der als Beilagen zum Baugesuch eingereichten Fotos nicht ersichtlich. Zum einen ist die teilweise durch Bäume verdeckte Beschattungsanlage je nach Perspektive deutlich bis sehr deutlich erkennbar. Zum anderen verstellt die andere Beschattungsanlage entgegen der Darstellung der Beschwerdeführerin von verschiedenen Standorten aus gesehen den Blick auf die D._ und die E._.
7.
In materieller Hinsicht ist zunächst streitig, ob die sich in der (kommunalen) Erholungs- und Grünzone befindenden beiden Strukturen zonenkonform und deshalb zu bewilligen sind.
7.1. Nach Art. 22 RPG (SR 700) dürfen Bauten und Anlagen nur mit behördlicher Bewilligung errichtet oder geändert werden (Abs. 1). Voraussetzung einer Bewilligung ist, dass die Bauten und Anlagen dem Zweck der Nutzungszone entsprechen und das Land erschlossen ist (Abs. 2). Es ist Sache des kantonalen und kommunalen Rechts, die in den einzelnen Zonen zugelassenen Nutzungen zu umschreiben (Urteil 1C_266/2020 vom 4. Januar 2021 E. 3.3.1 mit Hinweis). Dabei haben die kantonalen Gerichte sich auch dann, wenn sie nach Art. 33 Abs. 3 lit. b RPG die Angemessenheit des angefochtenen Entscheids prüfen, Zurückhaltung aufzuerlegen, um die Gemeindeautonomie gemäss <ref-law> zu respektieren (<ref-ruling> E. 3.6). In der vorliegenden Angelegenheit sind keine bundesrechtlichen Normen gegeben, die der Gemeindeautonomie vorgehen würden respektive eine eingehendere Überprüfung erforderlich machten (vgl. <ref-ruling> E. 3.2.1).
7.2. Gemäss Art. 15 Abs. 1 des Baureglements der Gemeinde Arbon vom 13. Juni 1999 (nachfolgend: Baureglement) dient die Erholungs- und Grünzone der Erhaltung und Schaffung von Erholungs- und Freizeitanlagen sowie der Freihaltung von innerstädtischen und siedlungsgliedernden Grünflächen. Wie aus der systematischen Stellung dieser Vorschrift im Abschnitt "Zonen des Baugebietes" (Art. 5 ff. Baureglement) ersichtlich ist, zählt die Erholungs- und Grünzone dabei zur Bauzone. Nach Art. 15 Abs. 2 Baureglement sind Anlagen in der Erholungs- und Grünzone zulässig, soweit sie dem Zweck der Zone entsprechen und sich mit ihrer Gestaltung sorgfältig in die Grünfläche einfügen (Satz 1). Die Anlagen dürfen nicht stören (Satz 2). Zu den zulässigen Anlagen zählen insbesondere "Infrastrukturen wie Fusswege, Ruhebereiche und zwingend erforderliche Erschliessungsanlagen für das betroffene und angrenzende Gebiet, sofern diese dem Nutzungszweck entsprechend gestaltet sind" (Satz 3). Bauten sind nach Art. 15 Abs. 3 Baureglement nur zulässig, wenn sie für den Betrieb der Anlagen unumgänglich sind.
7.3. Die Vorinstanz erwog, die Strukturen 1 und 2 seien keine Infrastruktur- oder Erschliessungsanlagen im Sinne von Art. 15 (Abs. 2 Satz 3) Baureglement. Sie seien auch nicht in der gemäss Art. 15 Abs. 2 Baureglement erforderlichen Weise in den betreffenden Grünbereich eingepasst, da sie als markante und dominante Konstruktionen in Erscheinung treten würden. Ihre Zonenkonformität sei auch hinsichtlich ihrer Nutzung zu verneinen. Dem Argument der Beschwerdeführerin, wonach dem Aufenthalt des Publikums in einer Gartenwirtschaft nebst Freizeit- auch Erholungscharakter zukomme, könne nicht gefolgt werden. Denn andernfalls müsse jede Baute oder Anlage, welche in irgendeiner Art und Weise der Freizeitbeschäftigung bzw. der Erholung diene, als zonenkonform qualifiziert werden. Die nachträgliche Erteilung einer ordentlichen Baubewilligung sei damit ausgeschlossen.
Diese rechtliche Würdigung der Vorinstanz ist bundesrechtskonform. Zwar wendet die Beschwerdeführerin ein, eine Gartenwirtschaft habe offenkundig Erholungscharakter und sei damit zonengerecht. Gartenwirtschaften nicht als Erholungs- und Freizeitanlagen im Sinne von Art. 15 Baureglement zu qualifizieren, ist aber weder unhaltbar noch sonst wie willkürlich (vgl. <ref-ruling> E. 7.3; <ref-ruling> E. 3.6.2; jeweils mit Hinweisen). Ins Gewicht fällt dabei, dass es sich bei Gartenwirtschaften nicht um unentgeltlich dem Publikum zur Verfügung stehende Anlagen handelt.
Nach Ansicht der Beschwerdeführerin machen jüngste Bauvorhaben deutlich, dass die Gemeinde mit dem Restaurant "B._" vergleichbare, ebenfalls in der Erholungs- und Grünzone liegende gastronomische Betriebe ohne Weiteres als zulässig erachte. In diesem Punkt macht sie aber - unter Berufung auf einen Artikel aus der Thurgauer Zeitung vom 20. Mai 2021 und weitere Dokumente - unzulässige echte Noven geltend (vgl. vorne E. 2.2). Aus den angeblichen neuen Bauvorhaben lässt sich damit von vornherein keine willkürliche oder rechtsungleiche Anwendung von Art. 15 Baureglement im vorliegenden Fall ableiten.
Im Ergebnis nichts anderes gilt im Übrigen in Bezug auf die Ausführungen der Beschwerdeführerin, wonach die Gemeinde ein mit dem vorliegenden Sachverhalt hinsichtlich der Zonenvoraussetzungen gleich oder vergleichbar gelagertes Baugesuch zur Einrichtung eines "Public Viewing" während der Fussballeuropameisterschaft gestellt habe. Hierbei handelt es sich um ein unechtes Novum. Dieses ist nicht zu berücksichtigen. Denn die Beschwerdeführerin legt in der Beschwerde nicht dar, weshalb erst das angefochtene Urteil dazu Anlass gab, sich darauf zu berufen (vgl. vorne E. 2.2).
Aufgrund des markanten und dominanten Erscheinungsbildes der Beschattungsanlagen ist es ohne Weiteres vertretbar, eine sorgfältige Einfügung in die Grünfläche zu verneinen und die Anlagen als störend im Sinne von Art. 15 Abs. 2 Baureglement zu qualifizieren. Folglich ist nicht zu beanstanden, dass die nachträgliche Erteilung einer ordentlichen Baubewilligung mangels Zonenkonformität verweigert worden ist (vgl. Art. 22 Abs. 2 lit. a RPG).
8.
Die Vorinstanz führte weiter aus, es liege auch kein Ausnahmetatbestand im Sinne von § 92 des Planungs- und Baugesetzes des Kantons Thurgau vom 21. Dezember 2011 (PBG/TG; RB 700) vor. Insbesondere nicht erfüllt seien die Voraussetzungen für eine Ausnahmebewilligung aufgrund ausserordentlicher Verhältnisse nach § 92 Abs. 1 Ziff. 1 PBG/TG. Die Nichterteilung einer (Ausnahme-) Bewilligung führe zu keiner unzumutbaren Härte für die Beschwerdeführerin, auch wenn die Beseitigung der Beschattungsanlagen mit gewissen finanziellen Aufwendungen verbunden sei.
9.
9.1. Die Vorinstanz schloss auch eine Bewilligungserteilung gestützt auf die Besitzstandsgarantie von <ref-law> und § 94 PBG/TG aus. Zur Begründung führte sie aus, die Gartenwirtschaft sei gemäss diesen Vorschriften in ihrem Bestand geschützt. § 94 Abs. 1 PBG/TG lasse es zu, bestehende, rechtmässig erstellte Bauten und Anlagen in Bauzonen, welche den geltenden Vorschriften oder Plänen nicht entsprechen, zeitgemäss zu erneuern, umzubauen, zu erweitern oder in ihrem Zweck zu ändern, soweit dadurch der Widerspruch zum geltenden Recht nicht wesentlich verstärkt werde. Rechtsprechungsgemäss müsse eine durch die Bestandesgarantie geschützte Änderung einer rechtswidrigen Baute untergeordneter Natur sein. Vorliegend werde die Rechtswidrigkeit verstärkt. Denn zum einen würden die Beschattungsanlagen eine deutlich bessere und vor allem längere Nutzung der Gartenwirtschaft ermöglichen. Zum anderen würden die massiv in Erscheinung tretenden Strukturen das schützenswerte Ortsbild erheblich beeinträchtigen.
Die Beschwerdeführerin stellt sich auf den Standpunkt, mit den Beschattungsanlagen gehe keine Verstärkung der Rechtswidrigkeit einher.
9.2. Aus der Eigentumsgarantie (<ref-law>) und dem Grundsatz des Vertrauensschutzes (vgl. <ref-law>) leitet sich die baurechtliche Bestandes- bzw. Besitzstandsgarantie ab. Diese gewährleistet, dass nach früherem Recht erstellte Bauten unter neuem Recht fortbestehen dürfen (vgl. Urteil 1C_336/2019 vom 3. Juni 2020 E. 6 mit Hinweis; zur Frage der Geltung der verfassungsrechtlichen Besitzstandsgarantie für widerrechtlich gewordene blosse Nutzungen siehe Urteil 1C_469/2019 vom 28. April 2021 E. 7, zur Publikation vorgesehen). Ausgehend von dieser Bestandesgarantie hat es der thurgauische Gesetzgeber in § 94 Abs. 1 PBG/TG ausdrücklich auch für zulässig erklärt, bestehende, rechtmässig erstellte, aber den geltenden Vorschriften oder Plänen nicht entsprechende Bauten und Anlagen in Bauzonen zeitgemäss zu erneuern, umzubauen, zu erweitern oder in ihrem Zweck zu ändern, soweit damit der Widerspruch zum geltenden Recht nicht wesentlich verstärkt wird.
Die Gartenwirtschaft bildete vor Erstellung der beiden Beschattungsanlagen keine ursprünglich rechtmässig erstellte Baute oder Anlage in einer Bauzone, welche den geltenden Vorschriften oder Plänen nicht mehr entsprach. Damit ging es bei der Erstellung der Beschattungsanlagen von vornherein nicht um die Erneuerung, den Umbau, die Erweiterung oder Änderung der Zwecksetzung von bestehenden, rechtmässig erstellten, aber vorschrifts- oder planwidrigen Bauten und Anlagen. Vor diesem Hintergrund lässt sich aus der Bestandesgarantie von <ref-law> und aus § 94 Abs. 1 PBG/TG von vornherein nichts zugunsten der Beschwerdeführerin ableiten.
10.
Die Vorinstanz hat im Übrigen im Rahmen der Prüfung der Einordnung resp. des Ortsbildschutzes (vgl. insbesondere § 78 PBG/TG und Art. 24 Baureglement) eine einlässliche Interessenabwägung zur Frage der Bewilligungsfähigkeit der Beschattungsanlagen vorgenommen. Sie kam dabei zum Schluss, das öffentliche Interesse am Erhalt des Ortsbildes resp. der Umgebung sei höher zu gewichten als das private Interesse der Beschwerdeführerin an der Beibehaltung der Anlagen.
Die Beschwerdeführerin macht zwar geltend, die genannte Interessenabwägung sei bundesrechtswidrig. Sie stützt sich dabei aber einzig auf die - wie ausgeführt - als unzulässige echte Noven nicht zu berücksichtigenden jüngsten Bauvorhaben der Gemeinde (vgl. vorne E. 7.3).
Nach dem Gesagten muss es bei der Verweigerung einer nachträglichen Baubewilligung für die Strukturen 1 und 2 sein Bewenden haben.
11.
Die Beschwerdeführerin macht vor dem Bundesgericht nicht geltend, im Fall der Bewilligungsverweigerung für die Struktur 2 sei es bundesrechtswidrig, von ihr den Rückbau dieser Struktur zu fordern. Eine entsprechende Rechtsverletzung ist auch nicht offenkundig.
12.
Unbestrittenermassen wurde im Verfahren der Gemeinde das rechtliche Gehör (<ref-law>) der Beschwerdeführerin verletzt, weil man ihr Stellungnahmen der Ortsbildkommission und des kantonalen Amtes für Denkmalpflege nicht zugestellt hatte. Auch wird nicht in Abrede gestellt, dass diese Gehörsverletzung im Rekursverfahren geheilt worden ist. Die Beschwerdeführerin rügt indessen, die Gehörsverletzung hätte bei der Festlegung der Kostenfolgen des Rekursverfahrens mitberücksichtigt werden müssen. Diesbezüglich macht sie aber nicht in hinreichend substantiierter Weise eine willkürliche Anwendung des kantonalen Rechts geltend (vgl. vorne E. 2.1).
13.
Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist.
Bei diesem Verfahrensausgang sind die Gerichtskosten der Beschwerdeführerin aufzuerlegen (<ref-law>). Die Beschwerdeführerin hat zudem dem obsiegenden Beschwerdegegner für das bundesgerichtliche Verfahren eine Parteientschädigung auszurichten (vgl. <ref-law>). Die Beschwerdegegnerin hat keinen Anspruch auf eine Parteientschädigung, da sie in ihrem amtlichen Wirkungskreis tätig geworden ist (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat dem Beschwerdegegner eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4.
Dieses Urteil wird den Parteien, der Politischen Gemeinde Arbon, dem Departement für Bau und Umwelt des Kantons Thurgau und dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 25. Oktober 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: König