Sachverhalt:
A.
A._ war vom 14. August 2012 bis 25. September 2014 im Handelsregister eingetragener Geschäftsführer mit Einzelunterschrift der C._ AG (bis 16. Dezember 2013 D._ AG). Als Verwaltungsrat amtete B._. Am 27. Januar 2015 eröffnete der Konkursrichter des Bezirksgerichts Bülach den Konkurs über die C._ AG. Am 29. Juni 2015 wurde das Verfahren mangels Aktiven eingestellt. Mit Verfügungen vom 23. Mai 2016 verpflichtete die Ausgleichskasse des Kantons Zürich A._ zur Bezahlung von Schadenersatz für entgangene AHV/IV/EO/AlV-Beiträge sowie von Beiträgen an die Familienausgleichskasse in der Höhe von insgesamt Fr.42'460.30. Die Schadenersatzforderung gegenüber B._ belief sich auf Fr. 55'507.90. Auf Einsprachen hin hielt die Ausgleichskasse an der Schadenersatzforderung gegen A._ fest; die Forderung gegenüber B._ reduzierte sie auf Fr. 55'178.- (Entscheide vom 19. Dezember 2016).
B.
B._ und A._ führten Beschwerde je mit dem Antrag auf Aufhebung des sie betreffenden Einspracheentscheids. Nach Vereinigung der beiden Verfahren hiess das Sozialversicherungsgericht des Kantons Zürich die Beschwerde des B._ in dem Sinne gut, dass es die Sache zur Vervollständigung der Akten und zu neuer Verfügung an die Ausgleichskasse zurückwies. Die Beschwerde von A._ hiess es gut und hob den diesen betreffenden Einspracheentscheid vom 19. Dezember 2016 auf (Entscheid vom 28. Februar 2019).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die Ausgleichskasse, der vorinstanzliche Entscheid sei in Bezug auf A._ aufzuheben; die Sache sei an sie zurückzuweisen, damit nach Vervollständigung der Akten über die Schadenersatzpflicht von A._ neu entschieden werden könne.
A._ lässt auf Nichteintreten auf die Beschwerde, eventuell auf deren Abweisung, schliessen. Das Bundesamt für Sozialversicherungen unterstützt das Rechtsbegehren der Ausgleichskasse.

Erwägungen:
1.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG), die Feststellung des Sachverhalts durch die Vorinstanz nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.
2.1. Die Vorinstanz hat die Bestimmungen und Grundsätze über die Haftung des Arbeitgebers und die subsidiäre Haftung der verantwortlichen Organe, falls es sich beim Arbeitgeber um eine juristische Person handelt, zutreffend dargelegt (Art. 52 Abs. 1 AHVG; <ref-ruling> E. 5b S. 15). Darauf wird verwiesen.
2.2. Bei einer Aktiengesellschaft sind alle Mitglieder des Verwaltungsrates unabhängig davon, welche Aufgaben sie tatsächlich erfüllen, Organ im formellen Sinn. Anderen Personen kommt faktische Organstellung zu, wenn sie tatsächlich die Funktion von Organen erfüllen, indem sie diesen vorbehaltene Entscheide treffen oder die eigentliche Geschäftsführung besorgen und so die Willensbildung der Gesellschaft massgebend mitbestimmen (Urteil 9C_920/2014 vom 19. Mai 2015 E. 2.2.1, in: SVR 2015 AHV Nr. 8 S. 27; C_317/2011 vom 30. September 2011 E. 4.1.1 mit Hinweisen, in: SVR 2012 AHV Nr. 4 S. 14). Im Handelsregister eingetragene Direktoren mit Einzelzeichnungsberechtigung haben nur für Handlungen und Unterlassungen in ihrem Aufgabenbereich einzustehen, was unter Umständen eine Haftung nach Art. 52 Abs. 1 AHVG ausschliesst, etwa wenn eine formelle Befugnisübertragung nur hinsichtlich der Vertretung (Art. 718 Abs. 2 OR), nicht aber der Geschäftsführung (Art. 716b Abs. 1 und 2 OR) erfolgt war (Urteil des Eidg. Versicherungsgerichts H 107/01 vom 23. Juli 2002 E. 4.2).
3.
3.1. Die Vorinstanz führte aus, dem Beschwerdegegner komme keine materielle Organeigenschaft zu. Ihm sei nicht die Verantwortung für das Beitragswesen übertragen worden. Der Umstand, dass er alleiniger Geschäftsführer war, genüge für die Annahme einer entsprechenden Kompetenz nicht. Bei der Unterzeichnung der Lohnbescheinigungen und der Beantragung des Ratenplans handle es sich um administrative Arbeiten, die nicht als massgebliche Beeinflussung der Willensbildung der Gesellschaft interpretiert werden könnten. Damit könne er nicht als faktisches Organ der nachmaligen Konkursitin angesehen werden.
3.2. Die Ausgleichskasse wendet ein, der Beschwerdegegner sei während des ganzen Zeitraums, in dem die C._ AG (bis 16. Dezember 2013 D._ AG) durch ihr Verhalten den vorliegend geltend gemachten Schaden verursacht hatte, ein in den Befugnissen uneingeschränkter Geschäftsführer mit Einzelunterschrift gewesen. So sei namentlich auch das Beitragswesen in seine Zuständigkeit gefallen. Er habe mit der Ausgleichskasse im Bereich Beitragswesen korrespondiert und Ratenpläne beantragt. Er habe nicht bloss Büroarbeiten verrichtet. Als Geschäftsführer mit Einzelunterschrift sei der Beschwerdegegner als faktisches Organ zu betrachten.
4.
Bei der Frage, ob der Beschwerdegegner bei der C._ AG faktisch Organstellung innehatte, handelt es sich um eine vom Bundesgericht frei überprüfbare Rechtsfrage.
4.1. In tatsächlicher Hinsicht steht aufgrund des angefochtenen Entscheids fest, dass der Beschwerdegegner vom 14. August 2012 bis 25. September 2014 Geschäftsführer mit Einzelunterschrift der späteren Konkursitin war. Ebenso ist erstellt, dass er sich um die Abrechnungspflicht gekümmert, die Lohndeklarationen unterzeichnet und am 21. Mai 2013 einen Ratenplan beantragt hat. Dass er damit lediglich administrative Arbeiten ohne Einfluss auf die Willensbildung der Gesellschaft verrichtet hat, wie das kantonale Gericht ausführt und der Beschwerdegegner bestätigt, ist mit Blick auf seine Stellung als einzelzeichnungsberechtigter Geschäftsführer und die Erledigung von Aufgaben des Rechnungswesens nicht plausibel. Dies gilt insbesondere für den Antrag auf Billigung eines Ratenplans; diese Aufgabe fällt als Teil des Rechnungswesens in die Kompetenz des Verwaltungsrates oder der Geschäftsführung, nicht aber des administrativen Personals. Die Behauptungen in der Beschwerdeantwort, er habe die Ratenpläne im Auftrag des Verwaltungsrates eingereicht, finden im angefochtenen Entscheid keine Stütze. Soweit der Beschwerdegegner sodann geltend macht, in seinem Fall sei auf den von der Vorinstanz zitierten <ref-ruling> E. 4e und 5 S. 218 abzustellen, kann ihm nicht gefolgt werden. Das Eidgenössische Versicherungsgericht hat in jenem Urteil festgehalten, dass die blosse Besorgung von Büroarbeiten die Annahme einer Organstellung in keiner Weise zur rechtfertigen vermag, weil sie sich in Handlungen erschöpft, welche die Willensbildung der Gesellschaft nicht massgebend beeinflussen.
4.2. So verhält es sich im vorliegenden Fall nicht. Der Beschwerdegegner hat als einzelzeichnungsberechtigter Geschäftsführer nicht lediglich administrative Tätigkeiten für die Aktiengesellschaft ausgeführt, sondern zumindest im Rahmen des Rechnungswesens als Teil der Geschäftsführung (Art. 716 Abs. 2 OR) auch Arbeiten verrichtet, die dem Verwaltungsrat oder dem Geschäftsführer obliegen. Damit hat er zweifellos Einfluss auf die Willensbildung der Gesellschaft genommen, namentlich was die Zahlung der Beiträge an die Ausgleichskasse anbelangt, weshalb ihm faktisch die Stellung eines Organs der Gesellschaft zugekommen ist, womit er nach Art. 52 AHVG schadenersatzpflichtig ist. Die weiteren Vorbringen in der Vernehmlassung vermögen hieran nichts zu ändern. Wie die Ausgleichskasse zutreffend festhält, ist die Berufung auf Statuten und Organisationsreglement der Gesellschaft unbehelflich. Die Statuten datieren vom 28. November 2013 und wurden verfasst, als der Beschwerdegegner bereits als faktisches Organ gegen aussen ersichtlich tätig geworden war. Ein Organisationsreglement wurde in der Folge nicht erstellt.
4.3. Mit Bezug auf die Höhe des der Ausgleichskasse entstandenen Schadens, der den unbezahlt gebliebenen Beiträgen entspricht und damit von der Dauer der Lohnzahlungen abhängig ist, hat die Vorinstanz die Sache betreffend den damaligen Verwaltungsrat der Gesellschaft, B._, zu näherer Abklärung an die Ausgleichskasse zurückgewiesen. In gleicher Weise ist entsprechend dem Antrag der Ausgleichskasse auch zur Ermittlung der Höhe des Schadens im vorliegenden Fall vorzugehen.
5.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdegegner aufzuerlegen (Art. 66 Abs. 1 Satz 1 BGG).

Demnach erkennt das Bundesgericht:
1.
In Gutheissung der Beschwerde wird der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 28. Februar 2019 aufgehoben, soweit er A._ betrifft. Die Sache wird an die Beschwerdeführerin zurückgewiesen, damit sie, nach ergänzenden Abklärungen im Sinne der Erwägungen, über die Schadenersatzpflicht des Beschwerdegegners neu entscheide.
2.
Die Gerichtskosten von Fr. 3500.- werden dem Beschwerdegegner auferlegt.
3.
Dieses Urteil wird den Parteien, B._, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. November 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Widmer