Sachverhalt:
A.
Mit Beschluss vom 16. Juli 2012 stellte der Stadtrat von Wädenswil das Gebäude Assek.-Nr. 305 auf dem Grundstück Kat.-Nr. 336 an der Gerbestrasse 1, das im Eigentum von A._ steht, unter Schutz. Der Stadtrat ordnete an, dass das bestehende Gebäudevolumen im spätklassizistischen Stil samt den für die Grundstruktur tragenden Wänden und Decken sowie die folgenden weiteren Gebäudeteile beizubehalten seien: die originalen Fassaden auf der Nord-, der Ost- und der Westseite, die Sandsteingewände, die Jalousieläden, der obere Fassadenabschluss mit dem glatten Gurtfries, der Balkon samt Balkontüre mit Verdachung und stilisierten Palmetten sowie das steile Mansardendach mit Lukarne unter Einschluss des Dachstocks und der Zinne. Zeitgleich verzichtete der Stadtrat von Wädenswil darauf, das benachbarte Gebäude Assek.-Nr. 306 auf dem Grundstück Kat.-Nr. 335 an der Gerbestrasse 3 unter Schutz zu stellen.
B.
Am 27. August 2012 rekurrierte A._ an das Baurekursgericht des Kantons Zürich. Dieses führte einen Augenschein durch. Mit Entscheid vom 20. August 2013 hiess es den Rekurs teilweise gut und hob den Stadtratsbeschluss vom 16. Juli 2012 insoweit auf, als damit die Beibehaltung der die Grundstruktur tragenden Wände und Decken verlangt wurde. Im Übrigen blieb der Rekurs erfolglos.
C.
Mit Urteil vom 27. Februar 2014 wies das Verwaltungsgericht des Kantons Zürich, 1. Abteilung, in Dreierbesetzung eine dagegen erhobene Beschwerde ab. Eine Minderheit des Gremiums bedauerte in einer abweichenden Meinung, dass das Verwaltungsgericht keinen Augenschein durchgeführt hatte, was nach Ansicht der Minderheit Voraussetzung dafür gewesen wäre, dem Verwaltungsgericht die Möglichkeit zu verschaffen, gegebenenfalls anders als das Baurekursgericht zu entscheiden.
D.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht beantragt A._, das Urteil des Verwaltungsgerichts aufzuheben und die Sache zu neuem Entscheid an dieses zurückzuweisen. Zur Begründung macht er im Wesentlichen geltend, das Verwaltungsgericht habe den massgeblichen Sachverhalt nicht genügend abgeklärt und sei seiner Begründungspflicht nicht ausreichend nachgekommen, was auf eine Gehörsverletzung hinauslaufe; überdies stelle die Unterschutzstellung des ihm gehörenden Gebäudes einen unverhältnismässigen Eingriff in sein Eigentumsrecht dar.
E.
Der Stadtrat Wädenswil schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich hat auf eine Vernehmlassung verzichtet.
F.
In Replik und Duplik halten A._ sowie der Stadtrat Wädenswil im Wesentlichen an ihren Standpunkten fest.
Erwägungen:
1.
1.1. Gemäss Art. 82 lit. a BGG beurteilt das Bundesgericht Beschwerden in Angelegenheiten des öffentlichen Rechts. Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält dazu keinen Ausschlussgrund. Nach Art. 34 Abs. 1 RPG gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege (BGE 133 II 249 E. 1.2 S. 251; 133 II 409 E. 1.1 S. 411). Im angefochtenen Entscheid geht es um die Unterschutzstellung eines Gebäudes gemäss §§ 203 ff. des zürcherischen Gesetzes vom 7. September 1975 über die Raumplanung und das öffentliche Baurecht (Planungs- und Baugesetz, PBG; LS 700.1) und mithin um eine Angelegenheit des öffentlichen Rechts. Beim angefochtenen Entscheid handelt es sich um einen anfechtbaren kantonal letztinstanzlichen Endentscheid (vgl. Art. 86 Abs. 1 lit. d und Art. 90 BGG).
1.2. Der Beschwerdeführer war an den vorinstanzlichen Verfahren beteiligt und ist als Eigentümer des vom strittigen Entscheids über die Unterschutzstellung erfassten Grundstücks sowie als Adressat des angefochtenen Entscheids von der Streitsache direkt betroffen. Er ist damit gemäss Art. 89 Abs. 1 BGG zur Beschwerde legitimiert (vgl. 137 II 30 E. 2.2.2 S. 33).
1.3. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), prüft die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, die von den Beschwerdeführern geltend gemacht und begründet werden (vgl. Art. 42 Abs. 2 BGG). Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und der willkürlichen Sachverhaltsfeststellung) gerügt wird (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S 254 mit Hinweisen).
1.4. Nach Art. 105 Abs. 1 BGG legt das Bundesgericht seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde, es sei denn, dieser sei offensichtlich unrichtig, d.h. willkürlich, erhoben worden oder beruhe auf einem erheblichen Verstoss gegen Verfahrensrecht (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
1.5. Mit der Beschwerde an das Bundesgericht kann, von hier nicht interessierenden weiteren Möglichkeiten abgesehen, nur die Verletzung von Bundesrecht und von kantonalem Verfassungsrecht gerügt werden (Art. 95 lit. a und c BGG).
2.
2.1. Der Beschwerdeführer erhebt verschiedene prozessuale Rügen. Soweit er dabei eine Verletzung des kantonalen Verfahrensrechts behauptet, überprüft das Bundesgericht dessen Auslegung und Anwendung lediglich auf Willkür (nach Art. 9 BV) hin.
2.2. Der Beschwerdeführer rügt, dass das Verwaltungsgericht keinen Augenschein durchgeführt habe und beruft sich dafür unter anderem auf die abweichende Minderheitsmeinung im angefochtenen Urteil, worin dasselbe ebenfalls als Verfahrensmangel erachtet wird. Zugleich sieht der Beschwerdeführer darin eine unvollständige bzw. willkürliche Sachverhaltsfeststellung.
2.2.1. Der Stadtrat Wädenswil wendet dagegen ein, die Anbringung einer Minderheitsmeinung verstosse gegen Bundesrecht und beruft sich dabei auf die eidgenössische Zivilprozessordnung. Er legt aber nicht dar, weshalb diese im öffentlich-rechtlichen Bauverfahren des Kantons Zürich anwendbar sein und in diesem eine Minderheitsmeinung ausschliessen sollte. Im Übrigen erscheint ohnehin fraglich, ob die Minderheitsmeinung über die Äusserung einer abweichenden Meinung hinaus überhaupt massgebliche Rechtswirkungen entfaltet.
2.3. Die Parteien haben im verwaltungs- sowie im verwaltungsgerichtlichen Verfahren Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV). Dazu gehört, dass die Behörde alle erheblichen und rechtzeitigen Vorbringen der Parteien würdigt und die ihr angebotenen Beweise abnimmt, wenn diese zur Abklärung des Sachverhalts tauglich erscheinen. Umgekehrt folgt daraus, dass keine Verletzung des rechtlichen Gehörs vorliegt, wenn ein Gericht auf die Abnahme beantragter Beweismittel verzichtet, weil es auf Grund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener (antizipierter) Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (BGE 136 I 229 E. 5.3 S. 236 f. mit Hinweisen).
2.3.1. Im vorliegenden Fall fand ein Augenschein vor dem Baurekursgericht statt. Der Beschwerdeführer stellte vor dem Verwaltungsgericht keinen Antrag auf Durchführung eines weiteren Augenscheins. Weshalb ein solcher von Amtes wegen hätte durchgeführt werden müssen, legt er nicht ausreichend dar. Namentlich genügt dafür der Verweis auf die Minderheitsmeinung im angefochtenen Urteil nicht. Dass die Vorinstanz insoweit seinen Anspruch auf rechtliches Gehör verletzt oder kantonales Verfahrensrecht willkürlich angewandt hätte, führt er somit nicht rechtsgenüglich aus. Aufgrund dieser Sachlage ist im Übrigen auch nicht ersichtlich, weshalb ein erneuter Augenschein zwingend erforderlich gewesen wäre. Der Beschwerdeführer legt nämlich ebenfalls nicht ausreichend dar, inwiefern ein Augenschein Wesentliches zur weiteren Erhellung der sachlichen Grundlagen des Rechtsstreites hätte beitragen können. Vielmehr durfte die Vorinstanz bzw. die Mehrheit ihrer Richter ohne Verletzung von Bundesrecht davon ausgehen, dass ihre Überzeugung durch weitere Beweiserhebungen nicht geändert worden wäre.
2.3.2. Das Verwaltungsgericht hat somit weder bei der Beweisabnahme gegen den Gehörsanspruch des Beschwerdeführers verstossen noch den Sachverhalt unvollständig festgestellt.
2.4. Sodann rügt der Beschwerdeführer, die Vorinstanz habe die ihr obliegende Pflicht zur Begründung ihres Entscheids verletzt, was gegen Art. 29 Abs. 2 BV verstosse. Konkret macht er geltend, die Begründung des angefochtenen Entscheids sei widersprüchlich, namentlich weil das Verwaltungsgericht dem strittigen Gebäude entgegen der Wertung der Kernzonenplanung einen wichtigen Situationswert zuerkannt habe. Der Verweis auf das Gutachten des im Verfahren beigezogenen Kunsthistorikers genüge dafür nicht, habe sich dieser doch nicht entsprechend dazu geäussert.
2.4.1. Das rechtliche Gehör nach Art. 29 Abs. 2 BV verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt (BGE 124 I 49 E. 3a, 241 E. 2, je mit Hinweisen). Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (vgl. BGE 134 I 83 E. 4.1 S. 88 mit Hinweisen).
2.4.2. Die vorinstanzliche Begründung zur materiellen Rechtslage umfasst rund sechseinhalb Seiten, geht recht detailliert auf die Streitsache ein und verweist wiederholt ergänzend auf die Ausführungen des Baurekursgerichts. Der angefochtene Entscheid war für den Beschwerdeführer durchaus anfechtbar. Die Begründung, inwiefern das fragliche Gebäude zur prägenden Wirkung des Quartiers bzw. der Siedlung beiträgt, mag zwar im angefochtenen Entscheid etwas kurz ausgefallen sein; die Thematik der Schutzwürdigkeit bildete aber bereits Gegenstand der Diskussionen vor der Gemeinde sowie Streitobjekt vor dem Baurekursgericht; dem Beschwerdeführer war es denn auch ohne Einschränkung konkret möglich, die behaupteten Unzulänglichkeiten zu rügen. Das gilt nicht anders, soweit die Vorinstanz auf die Begründung des Baurekursgerichts verwiesen hat. Das Verwaltungsgericht verletzte demnach seine Pflicht zur Begründung seines Entscheides nicht.
3.
3.1. Der Beschwerdeführer bezeichnet verschiedentlich die tatsächlichen Feststellungen der Vorinstanz als willkürlich. Es erscheint fraglich, ob alle entsprechenden Rügen rechtsgenüglich vorgetragen wurden. Dies kann jedoch offen bleiben.
3.2. Eine offensichtlich unrichtige bzw. willkürliche Sachverhaltsfeststellung liegt vor, wenn diese widersprüchlich oder aktenwidrig ist oder auf einem offensichtlichen Versehen beruht bzw. klarerweise den tatsächlichen Verhältnissen widerspricht.
3.3. Der Beschwerdeführer beanstandet insbesondere die Erwägung des Verwaltungsgerichts in E. 5.2 des angefochtenen Entscheids, er könnte die geplanten Alterswohnungen in einem kleineren Umfang auch auf dem Grundstück Kat.-Nr. 335 realisieren, als tatsachenwidrig, weil er gar nicht Eigentümer dieser Liegenschaft sei. Insofern erscheint die gerügte Passage in der Urteilsbegründung auf den ersten Blick tatsächlich fragwürdig. Indessen knüpfte das Verwaltungsgericht dabei an das Bauprojekt des Beschwerdeführers an, wonach die beiden Gebäude auf den zwei Grundstücken Gerbestrasse 1 (Kat.- Nr. 336) und Gerbestrasse 3 (Kat.-Nr. 335) abgebrochen und durch eine einzelne Neubaute mit Alterswohnungen ersetzt werden soll. Dass dabei die Mitwirkung des Eigentümers der Liegenschaft Kat.-Nr. 335 erforderlich ist, erscheint offensichtlich. Die Erwägung der Vorinstanz ist vor diesem Hintergrund zu verstehen. Geht nämlich der Beschwerdeführer bei der Geltendmachung seiner Interessen selbst von der nötigen Mitwirkung des betroffenen Grundeigentümers aus, darf auch das Verwaltungsgericht allfällige Ersatzlösungen in Betracht ziehen, die unter demselben Vorbehalt stehen.
3.4. Weitere allenfalls massgebliche widersprüchliche oder aktenwidrige Feststellungen sind nicht ersichtlich. Soweit insofern auf die Rüge der willkürlichen Sachverhaltsfeststellung überhaupt einzutreten wäre, erwiese sie sich als unbegründet.
4.
4.1. Der Beschwerdeführer rügt einen Verstoss gegen die Eigentumsgarantie nach Art. 26 BV. Diese kann unter den in Art. 36 BV genannten Voraussetzungen eingeschränkt werden. Für schwere Eingriffe in ein Freiheitsrecht ist eine klare und ausdrückliche Regelung in einem formellen Gesetz erforderlich (Art. 36 Abs. 1 Satz 2 BV). Das Bundesgericht prüft bei derart schwerwiegenden Einschränkungen die Auslegung und Anwendung des kantonalen Rechts ohne Beschränkung der Kognition, andernfalls nur auf Willkür hin (BGE 131 I 333 E. 4 S. 339; 130 I 360 E. 14.2 S. 362). Frei prüft es hingegen, ob ein Grundrechtseingriff im öffentlichen Interesse liegt und verhältnismässig ist (BGE 131 I 425 E. 6.1 S. 434 mit Hinweisen). Dabei auferlegt es sich aber Zurückhaltung, soweit die Beurteilung von besonderen örtlichen Verhältnissen abhängt, welche die kantonalen Behörden besser kennen und überblicken (BGE 132 II 408 E. 4.3 S. 416; 120 Ia 270 E. 3b S. 275, je mit Hinweisen).
4.2. Nach der bundesgerichtlichen Rechtsprechung liegt ein schwerer Eingriff in die Eigentumsgarantie namentlich dann vor, wenn die bisherige oder künftige mögliche, bestimmungsgemässe Nutzung eines Grundstücks durch Verbote oder Gebote verunmöglicht oder stark erschwert wird (BGE 133 II 220 E. 2.5 S. 225 mit Hinweisen). Durch den angefochtenen Entscheid wird das Gebäude des Beschwerdeführers in einer Weise unter Schutz gestellt, dass sein Umbau wesentlich limitiert wird, indem nebst weiteren Einschränkungen insbesondere Volumen und Fassaden aufrechterhalten werden müssen. Dabei handelt es sich um eine erhebliche Beschränkung der bestimmungsgemässen Nutzung des fraglichen Grundstücks, weshalb von einem schweren Eingriff in die Eigentumsgarantie auszugehen ist.
4.2.1. Gemäss der hier wesentlichen Bestimmung von § 203 Abs. 1 lit. c PBG zählen im Kanton Zürich unter anderem als Schutzobjekte Ortskerne, Quartiere, Strassen und Plätze, Gebäudegruppen, Gebäude und Teile sowie Zugehör von solchen, die als wichtige Zeugen einer politischen, wirtschaftlichen, sozialen oder baukünstlerischen Epoche erhaltenswürdig sind oder die Landschaften oder Siedlungen wesentlich mitprägen, samt der für ihre Wirkung wesentlichen Umgebung. Die Vorinstanz führte dazu aus, das Gesetz unterscheide zwischen dem so genannten Eigenwert und dem so genannten Situationswert einer Baute. Während sich der Eigenwert auf die Bedeutung des Bauwerks selbst beziehe, bezeichne der Lage- oder Situationswert den Wert des Objekts, der sich hinsichtlich seiner Stellung in der gesamten Umgebungsstruktur ergebe. Auch eine Kombination beider Elemente sei möglich. Massgeblich sei eine Gesamtbeurteilung, die den kulturellen, geschichtlichen, künstlerischen und städtebaulichen Zusammenhang eines Bauwerks mitberücksichtige. § 203 Abs. 1 lit. c PBG enthält eine genügend bestimmte formell-gesetzliche Grundlage für die mit der Unterschutzstellung verbundene Einschränkung der Eigentumsgarantie und taugt damit auch für die Rechtfertigung schwerer Eingriffe.
4.2.2. Was der Beschwerdeführer dagegen vorbringt, überzeugt nicht. Entgegen seiner Auffassung ergibt sich dadurch kein massgeblicher Widerspruch, dass das Streitobjekt im Kernzonenplan der Gemeinde nicht als Gebäude aufgeführt ist, das den Charakter des Ortsbildes in besonderem Masse mitbestimmt. Die Voraussetzung für die entsprechende Aufnahme in die Kernzone ist nicht deckungsgleich mit der heimatschutzrechtlichen Unterschutzstellung. Die Aufnahme in die Kernzone ist rein planungsrechtlicher Natur und nicht mit einem unmittelbaren Schutz der Bausubstanz verbunden, weshalb nach § 9 Abs. 1 der Kantonalen Natur- und Heimatschutzverordnung vom 20. Juli 1977 (KNHV; LS 702.11) gesonderte Schutzmassnahmen im Sinne von § 205 lit. b (Verordnung), c (Verfügung) oder c (Vertrag) PBG anzuordnen sind, soweit die planungsrechtlichen Massnahmen und die Bauvorschriften einen fachgerechten Schutz nicht sicherzustellen vermögen.
4.2.3. Das Verwaltungsgericht erwog, das Schutzobjekt befinde sich an prominenter Lage im Ortsbild, bilde das Tor zur Gerbestrasse und präge das Quartier in wesentlicher Weise mit. Unter Verweis auf den Entscheid des Baurekursgerichts bzw. auf das von diesem zitierten Gutachten des Kunsthistorikers B._ führte das Verwaltungsgericht weiter aus, das 1894 erstellte Gebäude wirke wie ein städtisches Geschäftshaus; aufgrund der im spätklassizistischen Stil gehaltenen Fassade sowie dem Mansardendach sei es charakteristisch und ein Zeuge für die Wohn- und Gewerbekultur des auslaufenden 19. Jahrhunderts. Erforderlich sei nicht, dass es sich um einen wichtigen Zeugen handle; erweise sich bei einer Baute wie hier der Situationswert als bedeutsam, genüge die Zeugeneigenschaft als solche auch dann, wenn sie nicht wichtig sei.
4.2.4. Die Auslegung der massgeblichen kantonalen Gesetzes- und Verordnungsbestimmungen durch das Verwaltungsgericht ist nachvollziehbar und hält auch einer freien Überprüfung stand. Das streitige Gebäude als historische Baute an prominenter Lage weist zwei Wohngeschosse sowie ein markantes Mansarden- und ein Ladengeschoss auf. Mit seinen Fassaden im klassizistischen Stil, den kleinen Vordächern über den Fenstern sowie dem Originalbalkon mit speziellen Verzierungen verfügt es über einen schutzwürdigen Wert als Zeitzeuge für die Wohn- und Gewerbekultur des auslaufenden 19. Jahrhunderts, wonach die damaligen Gewerbetreibenden üblicherweise im gleichen Haus wohnten und arbeiteten. Ein Neubau könnte denselben Eindruck selbst dann nicht wiedergeben, wenn die grundlegenden Dimensionen des bestehenden Gebäudes übernommen würden. Ob der Fassadenerhalt von ausgehöhlten Bauten noch zeitgemäss ist, was der Beschwerdeführer in Frage stellt, braucht hier nicht entschieden zu werden. Das geltende zürcherische Heimatschutzrecht geht jedenfalls noch davon aus, weshalb eine entsprechende Unterschutzstellung auf einer genügenden gesetzlichen Grundlage beruht.
4.3. Unter Rückgriff auf die Erwägungen des Baurekursgerichts bejahte das Verwaltungsgericht sodann das öffentliche Interesse an der strittigen Unterschutzstellung sowie die Verhältnismässigkeit derselben. Das Bundesgericht auferlegt sich mit Blick auf die besseren Kenntnisse der Unterinstanzen der besonderen örtlichen Verhältnisse insofern eine gewisse Zurückhaltung (vgl. E. 4.1). Wird die Schutzwürdigkeit des fraglichen Gebäudes wie hier bejaht, liegt nur schon darin ein öffentliches Interesse an dessen Unterschutzstellung. Obwohl an der Erstellung von Stadtwohnungen für altersbetreutes Wohnen nicht nur das private Interesse des Beschwerdeführers, sondern auch ein entsprechendes öffentliches Interesse besteht und die nach der Unterschutzstellung verbleibende Nutzung dafür nicht geeignet erscheint, überwiegen die Schutzinteressen insgesamt die entgegenstehenden Interessen. Ob die Erstellung von Alterswohnungen selbst unter Einbezug des Nachbargrundstücks oder allenfalls einzig auf demselben überhaupt sinnvoll möglich ist, was unter den Verfahrensbeteiligten umstritten ist, kann offen bleiben. Der Beschwerdeführer behauptet ganz allgemein, die Unterschutzstellung verunmögliche es, die Räumlichkeiten im betroffenen Gebäude den heutigen Bedürfnissen anzupassen. Weshalb die verbleibenden konkreten Schutzwirkungen dies mit sich bringen sollten, ist aber nicht erkennbar. Der Beschwerdeführer vermag nicht darzutun, dass eine sinnvolle Nutzung, allenfalls ausserhalb der Erstellung von Alterswohnungen, unmöglich sein sollte. Im Übrigen wurde gerade aus Gründen der Verhältnismässigkeit die Erweiterung des Gebäudes durch eine Erschliessung auf der Südseite Richtung Gessnerweg gestattet. Eine vernünftige Wohnnutzung wird dadurch erleichtert und ist weiterhin möglich. Ebenso wenig erscheinen gewisse Synergien bei der Bebauung des strittigen sowie des Nachbargrundstückes, etwa bei der Baugrundsicherung, ausgeschlossen.
4.4. Die Vorgeschichte belegt, dass die Behörden nicht eine geografisch möglichst breit angelegte Schutzwirkung angestrebt, sondern die Unterschutzstellung nach qualitativen Kriterien bestimmt haben, was zu einer Beschränkung des Schutzes auf das Gebäude des Beschwerdeführers führte. Das entlastet ihn selbst bzw. sein Grundstück zwar nicht, belegt aber, dass insgesamt eine möglichst verträgliche und in ihren Auswirkungen überschaubare Lösung gesucht wurde. Dazu zählen auch besondere Erleichterungen zugunsten des unter Schutz gestellten Grundstücks. Der angefochtene Entscheid ist mithin verhältnismässig.
5.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG). Eine Parteientschädigung ist der obsiegenden Gemeinde nicht zuzusprechen (vgl. Art. 68 BGG sowie BGE 134 II 117 E. 7 S. 118 f.).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Stadtrat Wädenswil und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, schriftlich mitgeteilt.
Lausanne, 18. November 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Uebersax