Sachverhalt:
A.
Im "Tages-Anzeiger" vom 2. November 2019 erschien ein Inserat zur Unterstützung von Ruedi Noser im zweiten Wahlgang der Ständeratswahlen vom 17. November 2019. Das Inserat zeigt die Porträts von fünf Mitgliedern des Regierungsrats, deren Namen und die Angabe ihrer Funktion (Regierungspräsidentin, Regierungsrätin bzw. -rat). Abgebildet sind von links nach rechts Regierungspräsidentin Carmen Walker Späh, die Regierungsräte Ernst Stocker und Mario Fehr sowie die Regierungsrätinnen Silvia Steiner und Natalie Rickli. Ausser bei der Regierungspräsidentin ist jeweils auch die Parteizugehörigkeit angegeben. Neben den Porträts steht folgender Text (Hervorhebungen weggelassen) :
"Ein bewährter Ständerat ist gewählt, jetzt braucht es auch Ruedi Noser.
Eine starke Stimme für den Kanton Zürich: Ruedi Noser kennt die Zürcher Wirtschaft wie kein anderer. Er hat langjährige Erfahrung in Bundesbern, ist dort über die Parteigrenzen hinaus geachtet und hat die Interessen des Kantons Zürich hervorragend vertreten. Er hat gut mit dem Zürcher Regierungsrat zusammengearbeitet. Das soll so bleiben.
Wählen Sie darum Ruedi Noser wieder in den Ständerat."
Am 5. November 2019 ging beim Regierungsrat des Kantons Zürich eine gemeinsame Eingabe der JUSO Kanton Zürich, der JUSO Stadt Zürich sowie der Kantonsratsmitglieder Leandra Columberg und Nicola Siegrist ein. Die Eingabe ist mit "Stimmrechtsbeschwerde zu Handen des Regierungsrats" betitelt und enthält folgendes Begehren: "Die JUSO möchte Sie mit diesem Schreiben dazu auffordern, dieses Inserat zu kommentieren und eine allfällige Rüge den genannten Regierungsratsmitgliedern zu erteilen." In der Begründung wird ausgeführt, das Inserat erwecke den Eindruck einer Wahlempfehlung des Regierungsrats. Eine solche sei unzulässig. Abschliessend wird der Regierungsrat gebeten, eine Reihe von Fragen zu beantworten, unter anderem, ob er das Fehlverhalten der genannten Mitglieder anerkenne und gewillt sei, sie zu rügen.
Mit Entscheid vom 13. November 2019 nahm der Regierungsrat die Eingabe als Einsprache entgegen, trat auf diese jedoch mit der Begründung nicht ein, es fehle an einer Handlung des Regierungsrats im Sinne von § 10d Abs. 1 des Verwaltungsrechtspflegegesetzes des Kantons Zürich vom 24. Mai 1959 (VRG; LS 175.2). In der dazugehörigen Rechtsmittelbelehrung hielt er fest, gegen seinen Entscheid könne Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht erhoben werden.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht beantragen die JUSO Kanton Zürich, die JUSO Stadt Zürich sowie Leandra Columberg und Nicola Siegrist, der Entscheid des Regierungsrats sei aufzuheben und die Beschwerde sei dem Verwaltungsgericht des Kantons Zürich zur Behandlung zu überweisen. Eventualiter sei die Angelegenheit zur Neubeurteilung an den Regierungsrat zurückzuweisen. Subeventualiter sei die Wahl aufzuheben.
Der Regierungsrat beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Beschwerdeführer halten in ihrer Stellungnahme dazu an ihren Anträgen und Rechtsauffassungen fest.
C.
Das Bundesgericht hat die Angelegenheit am 10. Juni 2020 öffentlich beraten.

Erwägungen:
1.
1.1. Die Beschwerdeführer machen geltend, der Entscheid des Regierungsrats vom 13. November 2019 verletze ihre politischen Rechte. Insofern ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten in der Form der Stimmrechtsbeschwerde gemäss <ref-law> das zutreffende Rechtsmittel. Der angefochtene Entscheid betrifft die Frage, ob eine Handlung des Regierungsrats im Sinne von § 10d Abs. 1 VRG vorliegt, was die Beschwerdeführer im Gegensatz zur Vorinstanz bejahen. Die Beschwerdeführerinnen 1 und 2 sind als im Kanton Zürich tätige politische Parteien nach <ref-law> beschwerdeberechtigt (vgl. <ref-ruling> E. 1.4 S. 201 mit Hinweisen). Die Beschwerdeführer 3 und 4 sind im Kanton Zürich stimmberechtigt und damit nach <ref-law> ebenfalls beschwerdeberechtigt.
1.2. Im Rahmen der Beschwerde in Stimmrechtssachen prüft das Bundesgericht nicht nur die Auslegung von Bundesrecht und kantonalem Verfassungsrecht frei, sondern auch diejenige anderer kantonaler Vorschriften, welche den Inhalt des Stimm- und Wahlrechts normieren oder mit diesem in engem Zusammenhang stehen (<ref-law>; <ref-ruling> E. 3.1 S. 224 mit Hinweis). § 10d VRG normiert zwar nicht direkt den Inhalt des Stimm- und Wahlrechts, sondern die Zulässigkeit der Einsprache. Die Bestimmung steht mit dem Stimm- und Wahlrecht jedoch insofern in einem engen Zusammenhang, als die prozessuale Frage, ob eine Handlung des Regierungsrats vorliegt, nicht von der inhaltlichen Frage, ob eine unzulässige behördliche Intervention im Wahlkampf vorliegt, getrennt werden kann.
2.
2.1. Die Beschwerdeführer sind der Ansicht, das Inserat sei dem Regierungsrat zuzurechnen. Für den durchschnittlichen Leser werde ohne Weiteres klar, dass die Mehrheit der Mitglieder des Regierungsrats für die Wahl von Ruedi Noser werbe. Es werde dementsprechend explizit festgehalten, Letzterer habe gut mit dem Regierungsrat zusammengearbeitet und dies solle so bleiben. Zudem weisen sie darauf hin, dass auch Akte Privater eine unzulässige Einwirkung auf die Wahl- und Abstimmungsfreiheit darstellen könnten. Der Kanton müsse dafür eine gerichtliche Überprüfung ermöglichen.
2.2. Gemäss <ref-law> hat jede Person bei Rechtsstreitigkeiten Anspruch auf Beurteilung durch eine richterliche Behörde, wobei Bund und Kantone die richterliche Beurteilung in Ausnahmefällen durch Gesetz ausschliessen können. Nach <ref-law> sehen die Kantone gegen behördliche Akte, welche die politischen Rechte der Stimmberechtigten in kantonalen Angelegenheiten verletzen können, ein Rechtsmittel vor. Gemäss <ref-law> erstreckt sich diese Pflicht nicht auf Akte des Parlaments und der Regierung.
Rechtsmittelentscheide eines Parlaments oder einer Regierung gehören grundsätzlich nicht in die Kategorie der Akte im Sinne von <ref-law>. Immerhin kann ein Einspracheentscheid, welcher die Funktion hat, dass die Regierung einen eigenen Entscheid oder Realakt in Kenntnis der Einwände von Einsprechern in Wiedererwägung zieht, als Akt der Regierung im Sinne von <ref-law> bezeichnet werden, wenn die Regierung damit nicht als Rechtsmittelinstanz einer untergeordneten Behörde entscheidet. Es ist mit <ref-law> sowie <ref-law> vereinbar, eine solche im kantonalen Gesetzesrecht verankerte Ausnahme von der Rechtsweggarantie zuzulassen.
Nach der bundesgerichtlichen Rechtsprechung müssen vor dem Hintergrund von <ref-law> und der Zielsetzungen des Bundesgerichtsgesetzes die Kantone als Rechtsmittelinstanz im Sinne von <ref-law> eine gerichtliche Behörde einsetzen. Seit dem Ablauf der Übergangsfrist von <ref-law> am 1. Januar 2009 ist der bundesrechtlich verlangte Rechtsschutz im Kanton selbst dann zu gewährleisten, wenn entsprechendes kantonales Anpassungsrecht fehlen sollte (zum Ganzen: <ref-ruling> E. 3.1 S. 431 f.; vgl. auch das den Kanton Zürich betreffende Urteil 1C_124/2009 vom 29. Juni 2009 E. 2.2 und 2.3; je mit Hinweisen).
2.3.
2.3.1. Vor diesem Hintergrund ist zu untersuchen, ob im vorliegenden Fall den Beschwerdeführern auf kantonaler Ebene die Möglichkeit der Überprüfung durch ein Gericht hätte eingeräumt werden müssen. Der Ausschluss der gerichtlichen Überprüfung kommt nach dem Ausgeführten nur dann in Frage, wenn es sich um einen Akt der Regierung handelt.
2.3.2. Der Regierungsrat hält diesbezüglich im angefochtenen Entscheid fest, es sei auf den ersten Blick erkennbar, dass es sich beim Inserat nicht um eine offizielle Verlautbarung des Regierungsrats handle. Es verwende insbesondere kein Logo des Regierungsrats oder der kantonalen Verwaltung. Auch ein Schriftzug, der auf eine offizielle Bekanntmachung hinweisen könnte, fehle. Es sei davon auszugehen, dass die abgebildeten Köpfe der fünf Regierungsratsmitglieder allgemein bekannt seien und sich ohne Weiteres dem Regierungsrat zuordnen liessen. Es sei im Kanton Zürich aber auch allgemein bekannt, dass der Regierungsrat sieben und nicht bloss fünf Mitglieder habe. Die Aufmachung des ganzen Inserats sei jedenfalls so, dass für den durchschnittlichen Leser ohne Weiteres erkennbar sei, dass es keine offizielle Verlautbarung des Regierungsrats sei, sondern eine Wahlwerbung. Mithin liege nicht nur keine Handlung des Regierungsrats vor, sondern es sei auch gut erkennbar, dass keine solche vorliege.
2.3.3. Die Abgrenzung zwischen privaten Interventionen in einem Abstimmungs- oder Wahlkampf und solchen von Behördenmitgliedern, die einen öffentlichen Charakter aufweisen und deshalb der Behörde als solcher zuzurechnen sind, fällt im Einzelnen nicht immer leicht. Die bundesgerichtliche Rechtsprechung zur Wahl- und Abstimmungsfreiheit (<ref-law>) stellt auf die Wirkung einer Mitteilung ab, die diese auf die Adressaten und den durchschnittlich aufmerksamen und politisch interessierten Stimmbürger hat (<ref-ruling> E. 3.3 S. 295 f.; Urteil 1C_379/2011 vom 2. Dezember 2011 E. 4.2; je mit Hinweisen). Wenn der Regierungsrat zum Schluss kommt, nicht nur liege keine Handlung des Regierungsrats vor, sondern dies sei auch gut erkennbar, so stellt er bei der Anwendung von § 10d VRG zumindest teilweise ebenfalls auf dieses Kriterium ab.
2.3.4. Wären im umstrittenen Inserat auch nicht dem Regierungsrat angehörende Personen aufgeführt, wäre wohl von vornherein klar, dass es sich nicht um eine offizielle Verlautbarung handeln kann. Indessen zeigt das Inserat ausschliesslich die Porträts von Regierungsräten, wobei deren Funktion jeweils explizit genannt wird. Zudem weisen die Beschwerdeführer zu Recht darauf hin, dass im Text ausdrücklich die gute Zusammenarbeit des unterstützten Ständeratskandidaten mit dem Regierungsrat hervorgehoben wird. Dieser Satz deutet ebenfalls auf eine dem Regierungsrat zuzurechnende Informationstätigkeit hin.
Trotz diesen Umständen ist die Feststellung im angefochtenen Entscheid, es liege erkennbarerweise keine offizielle Verlautbarung des Regierungsrats vor, im Rahmen einer Gesamtbetrachtung nicht zu beanstanden. Dabei fällt ins Gewicht, dass es sich um eine als solche bezeichnete Anzeige in einer Tageszeitung handelt, die weder ein Logo noch einen Schriftzug des Kantons enthält (vgl. dazu Urteil 1C_379/2011 vom 2. Dezember 2011 E. 4.3, wo relevant war, dass kein amtliches Papier verwendet worden war). Zudem ist mit der Vorinstanz zusammen davon auszugehen, dass der durchschnittliche Stimmbürger merkt, dass nur fünf von sieben Ratsmitgliedern aufgeführt sind und somit keine dem Gesamt-Regierungsrat zurechenbare Handlung vorliegt.
2.3.5. Ist das beanstandete Inserat somit kein Realakt des (Gesamt-) Regierungsrats, liegt entweder ein Realakt von fünf Privatpersonen vor oder ein solcher, der den fünf beteiligten Regierungsräten in ihrer amtlichen Eigenschaft zuzurechnen ist. In beiden Fällen erfordern <ref-law> und <ref-law> nach dem Ausgeführten zwingend die Möglichkeit der Überprüfung der geltend gemachten Verletzung der Wahl- und Abstimmungsfreiheit durch eine richterliche Behörde. Im Kanton Zürich kann es sich dabei nur um das Verwaltungsgericht handeln (vgl. § 41 i.V.m. § 19 Abs. 1 lit. c und § 10d Abs. 3 VRG).
2.4. Daraus folgt, dass der Regierungsrat zwar gestützt auf § 10d Abs. 1 VRG zu Recht nicht auf die Einsprache eintrat, es jedoch in Missachtung der Rechtsweggarantie unterliess, die Sache an das Verwaltungsgericht weiterzuleiten. Die Pflicht zur Weiterleitung ergibt sich im Übrigen auch aus dem Verbot des überspitzten Formalismus (<ref-law>; eingehend hierzu: <ref-ruling> E. 3.5 f. S. 641 ff. mit Hinweisen).
3.
Die Beschwerde ist aus diesen Gründen teilweise gutzuheissen und die Sache zur weiteren Behandlung dem Verwaltungsgericht des Kantons Zürich zu überweisen.
Bei diesem Verfahrensausgang sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Kanton Zürich hat den Beschwerdeführern für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und die Sache wird zur weiteren Behandlung und Neubeurteilung an das Verwaltungsgericht des Kantons Zürich zurückgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Zürich hat den Beschwerdeführern für das Verfahren vor Bundesgericht eine Parteientschädigung von Fr. 2'000.-- zu bezahlen.
4.
Dieses Urteil wird den Beschwerdeführern, dem Regierungsrat des Kantons Zürich und dem Verwaltungsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 10. Juni 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Dold