Sachverhalt: A. Der 1935 geborene A._ vermietet seinem Sohn B._ seit 1998 die Bäckerei-Konditorei in der Liegenschaft C._, welches Geschäft er bis zum 31. März 1998 in dritter Generation betrieben hatte und das durch den Sohn weitergeführt wird. Mit Verfügungen vom 21. Mai 2010 setzte die Ausgleichskasse der SVA Zürich (nachfolgend: Ausgleichskasse) erstmals für die Jahre 2005-2008 AHV/IV/ EO-Beiträge für selbstständige Erwerbstätigkeit von A._ fest. Die von diesem erhobene Einsprache wies sie mit Entscheid vom 25. April 2012 ab. B. Mit Entscheid vom 14. Oktober 2013 hiess das Sozialversicherungsgericht des Kantons Zürich die von A._ eingereichte Beschwerde gut. Es stellte fest, dass dieser vom 1. Januar 2005 bis zum 31. Dezember 2008 für die Erträge aus der Liegenschaft C._ nicht beitragspflichtig sei. C. Die Ausgleichskasse führt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragt die Aufhebung des kantonalen Entscheides und die Wiederherstellung des Einspracheentscheides vom 25. April 2012. A._ lässt beantragen, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie abzuweisen. Das Bundesamt für Sozialversicherungen (BSV) beantragt die Gutheissung der Beschwerde.