Sachverhalt:
A.
Der 1935 geborene A._ vermietet seinem Sohn B._ seit 1998 die Bäckerei-Konditorei in der Liegenschaft C._, welches Geschäft er bis zum 31. März 1998 in dritter Generation betrieben hatte und das durch den Sohn weitergeführt wird. Mit Verfügungen vom 21. Mai 2010 setzte die Ausgleichskasse der SVA Zürich (nachfolgend: Ausgleichskasse) erstmals für die Jahre 2005-2008 AHV/IV/ EO-Beiträge für selbstständige Erwerbstätigkeit von A._ fest. Die von diesem erhobene Einsprache wies sie mit Entscheid vom 25. April 2012 ab.
B.
Mit Entscheid vom 14. Oktober 2013 hiess das Sozialversicherungsgericht des Kantons Zürich die von A._ eingereichte Beschwerde gut. Es stellte fest, dass dieser vom 1. Januar 2005 bis zum 31. Dezember 2008 für die Erträge aus der Liegenschaft C._ nicht beitragspflichtig sei.
C.
Die Ausgleichskasse führt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragt die Aufhebung des kantonalen Entscheides und die Wiederherstellung des Einspracheentscheides vom 25. April 2012.
A._ lässt beantragen, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie abzuweisen. Das Bundesamt für Sozialversicherungen (BSV) beantragt die Gutheissung der Beschwerde.

Erwägungen:
1.
Der Einwand geht fehl, die Beschwerdeführerin habe das Rügeprinzip verletzt, indem sie nicht dargelegt habe, welche verfassungsmässigen Rechte und Grundsätze die Vorinstanz bei der Sachverhaltsfeststellung verletzt haben solle (und inwiefern im Einzelnen diese verletzt sein sollen). Es genügt, dass in der Beschwerde ausgeführt wurde, im angefochtenen Entscheid seien zu Unrecht die Erträge aus der Bäckerei als aus dem Privatvermögen stammend qualifiziert worden. Auf die Beschwerde ist einzutreten.
2.
2.1.
2.1.1. Gemäss <ref-law> schulden die erwerbstätigen Versicherten Beiträge auf dem aus einer unselbstständigen oder selbstständigen Erwerbstätigkeit fliessenden Einkommen. Nach <ref-law> ist Einkommen aus selbstständiger Erwerbstätigkeit jedes Erwerbseinkommen, das nicht Entgelt für in unselbstständiger Stellung geleistete Arbeit darstellt. Als selbstständiges Einkommen gelten laut <ref-law> alle in selbstständiger Stellung erzielten Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf, sowie aus jeder anderen selbstständigen Erwerbstätigkeit, einschliesslich der Kapital- und Überführungsgewinne nach <ref-law> und der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken nach <ref-law>, mit Ausnahme der Einkünfte aus zu Geschäftsvermögen erklärten Beteiligungen nach <ref-law>.
2.1.2. <ref-law> gleicht die AHV-beitragsrechtliche Umschreibung des Einkommens aus selbstständiger Erwerbstätigkeit derjenigen des Steuerrechts an. Soweit das AHVG und die AHVV keine abweichende Regelung enthalten, unterliegen grundsätzlich alle steuerbaren Einkünfte aus selbstständiger Erwerbstätigkeit auch der Beitragspflicht (<ref-ruling> E. 3.2 S. 253 mit Hinweisen). So gelten nach <ref-law> Kapital- und Überführungsgewinne im Sinne des Bundessteuerrechts als Einkommen aus selbstständiger Erwerbstätigkeit im Sinne von <ref-law> (vgl. Art. 18 Abs. 2 Satz 2 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [SR 642.11]; Art. 8 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [SR 642.14]). Aufgrund des Prinzips der Parallelität der Verabgabung von Vermögensgewinn und Vermögensertrag wird der vor der Überführung erzielte Mietertrag aus Liegenschaften beitragsrechtlich gleich behandelt wie der Überführungsgewinn (<ref-ruling> E. 4.2 S. 255 mit Hinweis unter anderem auf Urteil H 210/06 vom 22. Juni 2007 E. 6.3).
2.1.3. Nicht unter den Begriff der selbstständigen Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> fällt die blosse Verwaltung des persönlichen Vermögens. Der daraus resultierende reine Kapitalertrag unterliegt daher nicht der Beitragspflicht. Anderseits stellen Kapitalgewinne aus der Veräusserung oder Verwertung von Gegenständen des Privatvermögens, wie Wertschriften oder Liegenschaften, auch bei nicht buchführungspflichtigen (Einzel-) Betrieben, Einkommen aus selbstständiger Erwerbstätigkeit dar, wenn und soweit sie auf gewerbsmässigem Handel beruhen (<ref-ruling> E. 3.1 S. 253; <ref-ruling> E. 2a S. 385).
2.2.
2.2.1. Das Einkommen aus selbstständiger Erwerbstätigkeit und das im Betrieb eingesetzte eigene Kapital wird von den kantonalen Steuerbehörden ermittelt und den Ausgleichskassen gemeldet (<ref-law>). Die Angaben der kantonalen Steuerbehörden sind für die Ausgleichskassen verbindlich (<ref-law>). Die absolute Verbindlichkeit der Angaben der Steuerbehörden für die Ausgleichskasse und die daraus abgeleitete relative Bindung des Sozialversicherungsgerichts an die rechtskräftigen Steuertaxationen sind jedoch auf die Bemessung des massgebenden Einkommens und des betrieblichen Eigenkapitals beschränkt.
2.2.2. Diese Bindung betrifft also nicht die beitragsrechtliche Qualifikation und beschlägt daher nicht die Fragen, ob überhaupt Erwerbseinkommen und gegebenenfalls solches aus selbstständiger oder unselbstständiger Tätigkeit vorliegt und ob die Person, die das Einkommen bezogen hat, beitragspflichtig ist. Somit haben die Ausgleichskassen ohne Bindung an die Steuermeldung aufgrund des Rechts der Alters- und Hinterlassenenversicherung zu beurteilen, wer für ein von der Steuerbehörde gemeldetes Einkommen beitragspflichtig ist (<ref-ruling> E. 2c S. 82 f.). Das gilt namentlich auch für die Qualifikation eines Vermögensbestandteils als Privat- oder Geschäftsvermögen, zumal diese Unterscheidung steuerrechtlich häufig ohne Belang ist, da steuerrechtlich der Ertrag sowohl aus Privat- als auch aus Geschäftsvermögen steuerbar ist. Die Steuermeldung ist daher mit Bezug auf den Vermögensertrag keine zuverlässige Grundlage für die AHV-Beitragsfestsetzung, weshalb die Qualifikation als beitragsfreier Kapitalertrag auf Privatvermögen oder beitragspflichtiges Einkommen aus Geschäftsvermögen im Beitragsfestsetzungsverfahren erfolgen muss. In Bezug auf den Vermögensgewinn ist demgegenüber auch steuerrechtlich die Unterscheidung von Geschäfts- und Privatvermögen von Bedeutung, weshalb sich die AHV-Behörden in der Regel auf die Steuermeldung verlassen können und eigene nähere Abklärungen nur dann vornehmen müssen, wenn sich ernsthafte Zweifel an der Richtigkeit der Steuermeldung ergeben (<ref-ruling> E. 3.3 S. 253 f. mit Hinweisen).
3.
3.1. Die Vorinstanz stellte in für das Bundesgericht verbindlicher Weise (<ref-law>) fest, dass der Beschwerdegegner mit Jahrgang 1935 Eigentümer der Liegenschaft ist und darin bis zur Geschäftsaufgabe am 31. März 1998 eine Bäckerei betrieben hatte. Diese vermietet er seither seinem Sohn als alleinigem Mieter und hat daraus den aus den Meldungen des Steueramtes des Kantons Zürich der Jahre 2004-2008 ersichtlichen Ertrag erzielt. Er hat sich auf die Verwaltung beschränkt, um daraus ein regelmässiges Einkommen zur Deckung des Lebensunterhaltes zu erzielen. Die Vermietertätigkeit übersteigt die blosse Gebäudeverwaltung nicht. Hinweise darauf, dass der Beschwerdegegner grössere Investitionen getätigt hätte, um das Objekt zu einem gesteigerten Wert verkaufen zu können, bestehen nicht. Unbestrittenermassen dient die Bäckerei-Liegenschaft der Geschäftstätigkeit bereits der vierten Generation der Familie.
Die Vorinstanz schloss daraus, all diese Umstände legten nahe, dass es sich bei der Liegenschaft nicht um ein Spekulationsobjekt handle, was ein Indiz dafür sei, dass der Beschwerdegegner keine auf Erwerb gerichtete Liegenschaftsverwaltung betrieben habe. Daran vermöge auch die am 25. April 2000 unterzeichnete Erklärung des Beschwerdegegners gegenüber der kantonalen Steuerverwaltung zur steuerlichen Zuordnung von Geschäftsliegenschaften nichts zu ändern, wonach die Liegenschaft nur vorübergehend vorwiegend privat genutzt sei und weiterhin als Geschäftsvermögen nach Art. 18 Abs. 2 des Bundesgesetzes über die direkte Bundessteuer (DBG) gelte. Daraus sei zu schliessen, dass der Beschwerdegegner die Liegenschaft lediglich für Steuerbelange als Geschäftsvermögen deklariert habe. Dies stehe einer anderweitigen sozialversicherungsrechtlichen Beurteilung nicht entgegen. Dass sie damit gestützt auf <ref-law> aus steuerrechtlicher Sicht aufgrund des Aufschubtatbestands als Geschäftsvermögen gelte, führe nicht ohne Weiteres auch aus beitragsrechtlicher Sicht zum gleichen Schluss. Der Grundgedanke des Revers sei der Wille zur Aufschiebung des steuerrechtlichen Überführungstatbestandes gewesen. Inwiefern er unter den gegebenen Umständen verpflichtet gewesen wäre, bereits eine Meldung gemäss <ref-law> zu erstatten, könne im vorliegenden Zusammenhang offenbleiben. Die Liegenschaft stelle Privatvermögen dar und deren Mietertrag hinsichtlich der im Streit liegenden Beitragsjahre 2005-2008 stamme aus privater Vermögensverwaltung. So sei der Beschwerdegegner diesbezüglich nicht als selbstständig Erwerbender AHV-beitragspflichtig.
3.2. Die Beschwerdeführerin stellt sich auf den Standpunkt, gemäss Rz. 4013 f. der Wegleitung des BSV über die Beiträge der Selbstständigerwerbenden und Nichterwerbstätigen (WSN) in der AHV, IV und EO gehöre zum Einkommen aus selbstständiger Erwerbstätigkeit namentlich auch der Ertrag der zum Geschäftsvermögen gehörenden Grundstücke und Kapitalanlagen, mit Ausnahme der Einkünfte aus gewillkürtem Geschäftsvermögen. Die Steuerbehörde habe die Liegenschaft als Teil des Geschäftsvermögens gemeldet, was nachvollziehbar sei, da der Beschwerdegegner früher als selbstständigerwerbender Bäcker gearbeitet habe. Seit fünfzehn Jahren vermiete er die Bäckerei seinem Sohn. Die Vermietung einer Bäckerei sei vergleichbar mit der Vermietung einer möblierten Wohnung oder einem möblierten Restaurant, weil neben den bestimmten Räumlichkeiten auch das Inventar, vorliegend namentlich die ausgerüstete Backstube vermietet werde. Dadurch erhalte die Vermietertätigkeit den Charakter einer wirtschaftlichen Unternehmung. Die dem Grundeigentümer zufliessenden Mietzinse stellten den Gegenwert für die Gesamtleistung dar, die auch verschiedene Arbeitsaufwendungen im Interesse der Mieter umfasse. Sie seien deshalb als Erwerbseinkommen zu qualifizieren und unterlägen der AHV-Beitragspflicht.
3.3. Der Beschwerdegegner lässt erklären, sein Sohn habe bei der Betriebsübergabe die gesamten damals vorhandenen Betriebseinrichtungen gekauft. Es gehe allein um die Vermietung der Liegenschaft zur Erzielung eines Einkommens. Kapitalerträge aus dem Privatvermögen seien jedoch AHV-beitragsfrei.
3.4. Das BSV weist darauf hin, wenn dass der Beschwerdegegner sich steuerrechtlich für die Möglichkeit der Aufschiebung der Überführung entschieden habe, gelte diese Wahl mit Blick auf den Grundsatz der steuer- und AHV-rechtlichen Parallelität sowie aus veranlagungspraktischen Gründen auch mit Bezug auf die Belange des AHV-Rechts. Es verweist in diesem Zusammenhang auf <ref-ruling> E. 5.2 S. 256. Daraus folgert es, der Beschwerdegegner müsse sich "eine selbstständige Erwerbstätigkeit entgegenhalten lassen", selbst wenn er die ursprüngliche Geschäftstätigkeit als solche nicht mehr weiterführe. Die Erträge aus den sich im Geschäftsvermögen befindenden Liegenschaften unterlägen der AHV-Beitragspflicht.
4.
4.1. Der Beschwerdegegner belegt, dass er bei der Betriebsübergabe die gesamten Betriebseinrichtungen (inkl. der Backöfen) verkauft hat. Die beschwerdeführerische Argumentation zielt deshalb daneben, durch die Vermietung einer Bäckerei mitsamt Backöfen und Mobiliar erhalte die Vermietertätigkeit den Charakter einer wirtschaftlichen Unternehmung. Diese Kontroverse trifft indes nicht den entscheidenden rechtlichen Gesichtspunkt.
4.2. Fragen der beitragsrechtlichen Qualifikation entscheiden sich nach den konkreten wirtschaftlichen Gegebenheiten (<ref-ruling> E. 1 S. 162; SVR 2009 AHV Nr. 9 S. 33 E. 2, 9C_219/2009). Liegenschaften bilden Alternativgüter, das heisst sie können sowohl zum Geschäfts- wie zum Privatvermögen gehören (Urteil 2A.52/2003 vom 23. Januar 2004 E. 2.3). Im zitierten <ref-ruling> war die Beitragspflicht von Erben zu beurteilen, welche ererbte Liegenschaften im Geschäftsvermögen beliessen. Sinngemäss gleich zu behandeln ist die Sachlage, in welcher ein Unternehmer ein Geschäft aufgibt, vorerst ohne allfällige Kapitalgewinne aus dem Geschäftsvermögen zu versteuern. Wenn ein Steuerpflichtiger anlässlich der Geschäftsaufgabe mit den Steuerbehörden nicht über die stillen Reserven auf seinen zum Geschäftsvermögen gehörenden Liegenschaften abrechnet, ist grundsätzlich davon auszugehen, dass die Liegenschaften im Geschäftsvermögen verbleiben; durch blossen Zeitablauf kann die fragliche Liegenschaft nicht in das Privatvermögen übergehen (<ref-ruling> E. 6c/bb S. 126; Duss/Greter/von Ah, Die Besteuerung Selbstständigerwerbender, Zürich 2004, S. 41).
Mit Blick auf die steuer- und AHV-rechtliche Parallelität sowie aus veranlagungspraktischen Gründen hat vorliegend für den Beitragsbereich der AHV das Gleiche zu gelten. Am Recht steht zwar ein aus dem Erwerbsleben ausgeschiedener Alterspensionär, der sich mit der Vermietung seiner Liegenschaft einen Teil seines Lebensunterhalts verdient. Wenn der Beschwerdegegner sich aber steuerrechtlich für die Möglichkeit der Aufschiebung der Überführung entschieden hat, gilt diese Wahl mit Blick auf den Grundsatz der steuer- und AHV-rechtlichen Parallelität sowie aus durchführungstechnischen Gründen auch mit Bezug auf die Belange des AHV-Rechts. In concreto besteht daher kein Raum für ein Abgehen von der erfolgten Eigendeklaration solange eine Überführung ins Privatvermögen rechtlich nicht stattgefunden hat. Eine Privatentnahme, d.h. die Umwandlung von Geschäftsvermögen in Privatvermögen, ist jedoch grundsätzlich nicht von den dargelegten abgaberechtlichen Folgen zu trennen. Gleich wie die Steuer auf dem Kapitalgewinn kann auch die AHV-Beitragserhebung auf dem Kapitalgewinn aufgeschoben werden. Hingegen bleiben die laufenden Erträge aus den sich nach wie vor rechtlich im Geschäftsvermögen befindlichen Liegenschaften AHV-beitragspflichtig (<ref-ruling> E. 5.2 S. 256).
5.
Der unterliegende Beschwerdegegner hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 14. Oktober 2013 wird aufgehoben und der Einspracheentscheid der Ausgleichskasse des Kantons Zürich vom 25. April 2012 bestätigt.
2.
Die Gerichtskosten von Fr. 1'700.- werden dem Beschwerdegegner auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. Juni 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Schmutz