Sachverhalt: A. A._ meldete sich am 21. September 2005 zur Teilnahme am "Pilotversuch Assistenzbudget" an, die ihr von der für das Pilotprojekt zuständig gewesenen Sozialversicherungsanstalt des Kantons St. Gallen (IV-Stelle) am 27. September 2005 bewilligt wurde. Mit Verfügung vom 29. Dezember 2005 sprach ihr die IV-Stelle des Kantons St. Gallen ein monatliches Assistenzgeld von Fr. 7'350.- zu. Mit Verfügung vom 30. März 2011 erhöhte sie das Assistenzgeld auf Fr. 7'380.- pro Monat. Nach Inkrafttreten der 6. IV-Revision am 1. Januar 2012 überprüfte die IV-Stelle des Kantons Zürich den Anspruch von Amtes wegen. Sie führte entsprechende Abklärungen vor Ort durch und stellte A._ am 24. Mai 2012 in Aussicht, der (neu eingeführte) Assistenzbeitrag belaufe sich nunmehr auf Fr. 5'374.40. Dagegen erhob A._ am 22. Juni und 26. Juli 2012 Einwände. Nach der Mandatierung von Rechtsanwalt Husmann, am 12. September 2012 liess sie am 13. September und 10. Oktober 2012 weitere Einwände geltend machen. Die IV-Stelle hiess diese mit Verfügung vom 19. November 2012 teilweise gut und sprach A._ einen monatlichen Assistenzbeitrag von Fr. 6'244.75 zu. Am 4. Dezember 2013 gelangte der Rechtsvertreter von A._ an die IV-Stelle und machte geltend, die Verfügung vom 19. November 2012 sei weder ihm noch seiner Mandantin zugestellt worden. Die IV-Stelle veranlasste am 17. Dezember 2013 eine nochmalige Zustellung der Verfügung sowie des Berechnungsblattes. B. Am 28. Januar 2014 liess A._ Beschwerde gegen die Verfügung vom 19. November 2012 erheben und vorab geltend machen, die Beschwerdefrist sei gestützt auf den Verfügungseingang am 18. Dezember 2013 gewahrt. Das Sozialversicherungsgericht des Kantons Zürich verfügte am 4. März 2014, auf die Beschwerde werde eingetreten. C. Die IV-Stelle erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, die angefochtene Verfügung sei aufzuheben. Es sei festzustellen, dass das kantonale Gericht zu Unrecht auf die Beschwerde eingetreten sei. A._ lässt auf Abweisung der Beschwerde schliessen. Gleichzeitig beantragt sie die Gewährung der unentgeltlichen Rechtspflege.