Sachverhalt:
A.
A.a. Die Baugenossenschaft des Eidgenössischen Personals (BEP) ist Eigentümerin der als "Roter Block" bekannten Gebäude in der Stadt Zürich. Dazu zählen das Gebäude Vers.-Nr. 3571 mit Vorgärten auf dem Grundstück Kat.-Nr. AU2554 an der Albertstrasse 1, 3 und 5, der Josefstrasse 170 und 172 und der Röntgenstrasse 59, 61 und 63 sowie das Hofgebäude Vers.-Nr. 3578 auf demselben Grundstück an der Röntgenstrasse 55 und 57 in Zürich-Aussersihl. Diese gemäss Baueingaben der Jahre 1919 und 1920 erstellten und seither verschiedentlich umgebauten Gebäude wurden 1993 als zeitgeschichtliche Zeugen des so genannten Arbeiterwohnungsbaus im "Roten Zürich" der 1920er-Jahre in das zürcherische Inventar der kunst- und kulturhistorischen Schutzobjekte von kommunaler Bedeutung aufgenommen.
A.b. Die Baugenossenschaft plant einen Umbau des "Roten Blocks", der unter anderem zu vergrössertem Wohnraum führen soll. Mit Beschluss vom 8. Juni 2011 genehmigte der Stadtrat Zürich den entsprechenden zwischen der Baugenossenschaft und der Stadt Zürich abgeschlossenen verwaltungsrechtlichen Vertrag vom 11. Mai 2011 betreffend die Unterschutzstellung des Hauptgebäudes Vers.-Nr. 3571. Nicht umfassend geschützt sind dabei die hofseitigen Fassaden, weil der Umbau neu Wohnräume auf der Hofseite vorsieht. Zugleich beschloss der Stadtrat Zürich, den Innenhof und das Hofgebäude Vers.-Nr. 3578, das gemäss den Bauplänen abgerissen werden soll, namentlich um Platz für die Wohnraumerweiterungen des Hauptgebäudes zu schaffen, nicht unter Denkmalschutz zu stellen. Dieser Beschluss wurde am 24. Juni 2011 im Amtsblatt des Kantons Zürich publiziert.
B.
Dagegen reichte die Zürcherische Vereinigung für Heimatschutz (ZVH) Rekurs beim Baurekursgericht des Kantons Zürich ein. Dieses führte am 30. November 2011 in Anwesenheit der Parteien einen Augenschein durch. Mit Entscheid vom 3. Februar 2012 wies das Baurekursgericht den Rekurs ab.
C.
Am 24. Oktober 2012 wies das Verwaltungsgericht des Kantons Zürich eine dagegen von der Zürcherischen Vereinigung für Heimatschutz erhobene Beschwerde ab.
D.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 7. Dezember 2012 an das Bundesgericht beantragt die Zürcherische Vereinigung für Heimatschutz, das Urteil des Verwaltungsgerichts aufzuheben. Zur Begründung wird im Wesentlichen geltend gemacht, die Zürcherische Vereinigung für Heimatschutz sei durch ungenügende Sachverhaltsabklärung in ihrem Anspruch auf rechtliches Gehör verletzt worden; insbesondere habe es das Verwaltungsgericht verfassungswidrig abgelehnt, ein unabhängiges wissenschaftliches Gutachten einzuholen, und es fehle die erforderliche Protokollierung der Baubegleitung durch die Denkmalpflegekommission. Schliesslich beruhe das Urteil des Verwaltungsgerichts auf einer willkürlichen Sachverhaltsfeststellung und Interessenabwägung.
E.
In Vernehmlassungen vom 14. Januar und 8. Februar 2013 schliesst die Baugenossenschaft des Eidgenössischen Personals auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Denselben Antrag stellt ohne weitere Ausführungen das Verwaltungsgericht. Die Stadt Zürich beantragt, die Beschwerde abzuweisen.
F.
Mit Verfügung vom 23. Januar 2013 wies der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts ein Gesuch der Zürcherischen Vereinigung für Heimatschutz um Erteilung der aufschiebenden Wirkung ab.

Erwägungen:
1.
Gemäss <ref-law> beurteilt das Bundesgericht Beschwerden in Angelegenheiten des öffentlichen Rechts. Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält dazu keinen Ausschlussgrund. Nach Art. 34 Abs. 1 RPG gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege (<ref-ruling> E. 1.2 S. 251; <ref-ruling> E. 1.1 S. 411). Im angefochtenen Entscheid geht es um die Unterschutzstellung zweier Gebäude gemäss §§ 203 ff. des zürcherischen Gesetzes vom 7. September 1975 über die Raumplanung und das öffentliche Baurecht (Planungs- und Baugesetz; PBG) und mithin um eine Angelegenheit des öffentlichen Rechts. Beim angefochtenen Entscheid handelt es sich um einen anfechtbaren kantonal letztinstanzlichen Endentscheid (vgl. Art. 86 Abs. 1 lit. d und Art. 90 BGG).
2.
2.1. Nach <ref-law> in Verbindung mit <ref-law> steht die Befugnis zur Beschwerde an das Bundesgericht im Bereich des Natur- und Heimatschutzes gesamtschweizerisch tätigen und rein ideellen Zwecken dienenden Organisationen zu, die sich dem Naturschutz, dem Heimatschutz, der Denkmalpflege oder verwandten Zielen widmen. Die Beschwerdeführerin verfolgt seit über hundert Jahren als gemeinnützige Organisation die Interessen des Heimatschutzes im Kanton Zürich. Da sie nicht gesamtschweizerisch tätig ist, kann sie sich jedoch nicht auf <ref-law> berufen, was sie auch selbst nicht verkennt.
2.2. Die Beschwerdeberechtigung der Beschwerdeführerin richtet sich mithin nach den allgemeinen Voraussetzungen von <ref-law>. Da die Beschwerdeführerin nicht in eigenen Interessen oder in solchen ihrer Mitglieder betroffen ist, fehlt es ihr an der Legitimation in der Sache, wie sie selbst einräumt. Nach der bundesgerichtlichen Rechtsprechung kann sie hingegen eine eventuelle Verletzung ihrer Parteirechte, die einer formellen Rechtsverweigerung gleichkommt, geltend machen. Ausgeschlossen sind aber Rügen, die direkt oder mittelbar auf eine inhaltliche Kontrolle des angefochtenen Entscheids hinauslaufen. Diese Rechtsprechung gilt entgegen den entsprechenden Ausführungen der Beschwerdegegnerin gerade auch in Bausachen für Organisationen, die ihre Beschwerdeberechtigung nicht auf <ref-law> stützen können, sondern dafür auf <ref-law> ausweichen müssen (Urteil des Bundesgerichts 1C_367/2009 vom 27. Oktober 2009 E. 3). Der Beschwerdeführerin steht demnach insoweit auch im vorliegenden Zusammenhang die erforderliche Beschwerdebefugnis zu.
2.3. Soweit die Beschwerdeführerin allerdings geltend macht, die dem angefochtenen Entscheid zugrunde liegende Sachverhaltsfeststellung und Interessenabwägung seien willkürlich, handelt es sich um materielle Rügen. Es geht dabei nicht um Parteirechte, sondern um die inhaltliche Prüfung des vorinstanzlichen Urteils. Insofern kann daher auf die Beschwerde nicht eingetreten werden.
3.
3.1. Mit der Beschwerde an das Bundesgericht kann, von hier nicht interessierenden Ausnahmen abgesehen, nur die Verletzung von Bundesrecht, Völkerrecht und kantonalen verfassungsmässigen Rechten (vgl. Art. 95 lit. a-c BGG) gerügt werden.
3.2. Die Beschwerdeführerin beruft sich nicht auf Parteirechte, die sich auf kantonales oder interkantonales Recht oder Völkerrecht stützen, sondern macht nur in allgemeiner Weise eine Verletzung ihres Anspruchs auf rechtliches Gehör geltend. Es ist daher lediglich zu prüfen, ob der angefochtene Entscheid vor <ref-law> standhält.
3.3. Der Anspruch auf rechtliches Gehör gemäss <ref-law> verlangt, dass die Behörde die Vorbringen der vom Entscheid in ihrer Rechtsstellung Betroffenen hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Des Weiteren ergibt sich aus <ref-law> für die Parteien das Recht, Beweisanträge zu stellen, und für die Behörden die Pflicht, rechtzeitig und formgültig angebotene Beweisbegehren entgegenzunehmen und zu berücksichtigen. Keine Verletzung des rechtlichen Gehörs liegt indes vor, wenn ein Gericht auf die Abnahme beantragter Beweismittel verzichtet, weil es aufgrund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 5.2 und 5.3 S. 236 f.).
4.
4.1. Die Beschwerdeführerin sieht darin eine Verletzung ihres Anspruchs auf rechtliches Gehör, dass das Verwaltungsgericht von der von ihr beantragten wissenschaftlichen Begutachtung der Schutzwürdigkeit der Hofsituation des "Roten Blocks" abgesehen und die fehlende Protokollierung der Baubegleitung durch die Denkmalpflegekommission nicht als wesentlichen Verfahrensmangel beurteilt habe. Damit habe das Verwaltungsgericht gegen ihr Parteirecht auf rechtserhebliche Sachverhaltsabklärung verstossen.
4.2. Nach § 203 Abs. 1 lit. c PBG sind unter anderem Plätze, Gebäudegruppen, Gebäude und Teile sowie Zugehör von solchen, die als wichtige Zeugen einer politischen, wirtschaftlichen, sozialen oder baukünstlerischen Epoche erhaltenswürdig sind oder die Landschaften oder Siedlungen wesentlich mitprägen, samt der für ihre Wirkung wesentlichen Umgebung schutzwürdig. Über die Schutzobjekte wird gemäss § 203 Abs. 2 PBG ein Inventar erstellt. Die grundsätzliche Schutzwürdigkeit des "Roten Blocks" ist unter den Verfahrensbeteiligten nicht umstritten. Die Beschwerdeführerin steht jedoch in der Sache auf dem Standpunkt, die Schutzwürdigkeit erstrecke sich auf die gesamte Anlage und lasse die von der Beschwerdegegnerin geplanten Veränderungen an der Hoffassade des Hauptgebäudes und am Innenhof sowie den Abbruch des Hofgebäudes nicht zu. Anders wird hingegen die Schutzwürdigkeit der Hoffassade sowie des Hofraumes und -gebäudes von der Beschwerdegegnerin und den städtischen Behörden beurteilt. Sie stehen auf dem Standpunkt, der ursprünglich qualitativ hochstehende Innenhof entspreche nicht mehr dem Bild, den die Beschwerdeführerin anhand des Originalzustands wiedergebe, sondern sei zum eher vernachlässigten Hinterhof geworden. Eine bauliche Aufwertung, damit der Hof wieder zum Orte der Begegnung werde und seine sozialgeschichtliche Bedeutung für die Wohnkolonie wieder ausüben könne, sei daher sinnvoll und mit Blick auf den in der heutigen Zeit erforderlichen Wohnkomfort sogar geboten, damit die gesamte Wohnkolonie überhaupt bestehen bleiben könne. Massgeblich für die hier strittige von den Vorinstanzen verfügte bzw. geschützte Entlassung aus dem Inventar bzw. der Aufhebung der damit verbundenen Schutzwirkung ist mithin, ob der Hoffassade des Hauptgebäudes, dem Innenhof sowie dem Hofgebäude des "Roten Blocks" im Sinne von § 203 Abs. 1 PBG Schutzwürdigkeit zukommt, wozu es eine sachliche und auf wissenschaftlichen Kriterien beruhende Gesamtbeurteilung braucht (vgl. <ref-ruling> E. 6.2 S. 182).
4.3. Das Verwaltungsgericht hat in E. 3 des angefochtenen Entscheids ausführlich (auf rund sechs Seiten) geprüft, ob sich die für die rechtliche Beurteilung notwendigen wesentlichen tatsächlichen Verhältnisse, insbesondere die Qualität und Bedeutung eines möglichen Schutzobjekts und seiner einzelnen Elemente, mit hinreichender Klarheit aus den Akten ergeben oder im Gegenteil zusätzliche Abklärungen erfordern würden. Es stellte dabei im Wesentlichen auf folgende Unterlagen ab: Erstens zog die Vorinstanz den entsprechenden Auszug aus dem Inventar von 1993 und die damit verbundene Baubeschreibung und Würdigung als Schutzobjekt bei. Zweitens stützte sie sich auf eine Dokumentation des Amts für Städtebau zuhanden der Denkmalpflegekommission aus dem Jahre 2009 und die daraus hervorgegangene Stellungnahme der Denkmalpflegekommission, wie sie sich insbesondere aus dem entsprechenden Protokoll zum Augenschein und zur Sitzung dieser Kommission vom 26. Januar 2009 ergab. Und drittens bezog sie sich auf verschiedene Unterlagen, die im Rekursverfahren eingereicht worden waren, sowie auf das Protokoll über den Augenschein, den das Baurekursgericht am 30. November 2011 unter Anwesenheit der Parteien durchgeführt hatte. Insgesamt kam das Verwaltungsgericht zum Schluss, der massgebliche Sachverhalt ergebe sich mit ausreichender Deutlichkeit aus den vorhandenen Akten, weshalb auf weitere Erhebungen im verwaltungsgerichtlichen Verfahren verzichtet werden könne.
4.4. Der vom Verwaltungsgericht beigezogene Inventareintrag ist umfangreich und stützt sich selbst wiederum auf verschiedene Quellen, auch auf solche wissenschaftlicher Herkunft. Das Verwaltungsgericht befasst sich im angefochtenen Entscheid detailliert mit dem Inventareintrag und setzt sich, gestützt darauf, eingehend mit den kulturellen, geschichtlichen, künstlerischen, städtebaulichen und sozialgeschichtlichen Charakteristika des Schutzobjekts auseinander, wie sie von der Beschwerdeführerin in den Vordergrund gestellt werden. Der Verfasser des Inventareintrags hat selbst eine Dissertation zu den Fassadenbildern der Zürcher Baugenossenschaften geschrieben, weshalb ihm entsprechendes, für die Inventarisierung geeignetes Fachwissen nicht abgesprochen werden kann.
4.5. Weniger ausführlich sind die Erwägungen der Vorinstanz zur Dokumentation des Amts für Städtebau aus dem Jahre 2009. Ergänzend zum Inventarauszug finden sich darin immerhin die Projektstudie der beauftragten Architekten mit Plänen, Bestandes- und Auftragsanalyse sowie Lösungsansätzen. Umfangreicher sind dann wiederum die vorinstanzlichen Ausführungen zum Ergebnis des Augenscheins und der Sitzung der Denkmalpflegekommission vom 26. Januar 2009. Insbesondere würdigt das Verwaltungsgericht deren Erkenntnisse. Daraus geht hervor, dass sich schon die Denkmalpflegekommission mit der gesamten Bedeutung des Schutzobjekts vertieft auseinandergesetzt und sich dabei auch mit der Frage der neuen Nutzung des Hofraumes befasst hatte. Wie das Verwaltungsgericht zutreffend erkannt hat und wie die Stadt Zürich in ihrer Vernehmlassung an das Bundesgericht ergänzend erläutert, verfügte die Denkmalpflegekommission über Spezialwissen ausgewiesener Fachleute. So war insbesondere dieselbe Person, die 1993 den Inventarbeitrag zum "Roten Block" verfasst hatte, im Jahre 2009 Fachstellenleiter von Archäologie und Denkmalpflege im Amt für Städtebau der Stadt Zürich, und überdies handelte es sich bei einem Mitglied der Denkmalpflegekommission an der Sitzung vom 26. Januar 2009 um die Professorin für Denkmalpflege und Bauforschung an der ETH Zürich.
4.6. Die Beschwerdeführerin beanstandet, dass die beim Augenschein vom 26. Januar 2009 gewonnenen Erkenntnisse nicht separat protokolliert und auch die weitere Begehung vor Ort am 15. November 2010 nicht formell protokolliert wurden. Beides hat das Verwaltungsgericht als mangelhaft beanstandet. Es sah aber deshalb darin keine Gehörsverletzung, weil die Durchführung der Augenscheine bekannt und deren wesentliche Ergebnisse jedenfalls in internen Dokumenten der Beschwerdegegnerin festgehalten waren, die im vorliegenden Verfahren aktenkundig waren und auch der Beschwerdeführerin offen standen. Im Übrigen flossen diese Erkenntnisse in den verwaltungsrechtlichen Vertrag vom 11. Mai 2011 zwischen der Beschwerdegegnerin und der Stadt Zürich ein und führten zur Ausgestaltung der Baupläne, wie sie auch der Beschwerdeführerin bekannt sind. Daraus ergibt sich ein Gesamtbild, das die für die Beurteilung der Schutzwürdigkeit des "Roten Blocks" massgeblichen Erkenntnisse in genügender und für die Beschwerdeführerin erkennbarer und zugänglicher Weise wiedergibt.
4.7. Aufgrund dieser Sachlage ist nicht ersichtlich, was ein externes Gutachten an zusätzlicher fachlicher Beurteilung bzw. an Kenntnisgewinn hätte bringen sollen. Das Verwaltungsgericht musste auch nicht selbst nochmals einen Augenschein durchführen, sondern durfte auf denjenigen des Baurekursgerichts und die entsprechenden Begehungen der Denkmalpflegekommission bzw. auf die insoweit genügend ausführlichen Unterlagen abstellen. Insbesondere ist die sozialgeschichtliche Bedeutung des Schutzobjekts ausreichend untersucht worden.
4.8. Die Vorinstanz hat demnach den Anspruch der Beschwerdeführerin auf rechtliches Gehör gemäss <ref-law> nicht verletzt, indem sie von weiteren Abklärungen zum Sachverhalt, insbesondere betreffend die Inventarentlassung der Hoffassade und des Hofgebäudes des "Roten Blocks", absah und dabei namentlich auf die Einholung eines externen Fachgutachtens verzichtete sowie indem sie die teilweise mangelhafte Protokollierung der Baubegleitung durch die Denkmalpflegekommission nicht als Gehörsverletzung beurteilte.
5.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang wird die unterliegende Beschwerdeführerin kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG). Überdies hat sie die Beschwerdegegnerin für das bundesgerichtliche Verfahren angemessen zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Stadtrat von Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 26. Juni 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Uebersax