Sachverhalt: A. A.a. Die 1973 geborene A._ hatte sich am 23. Januar 2008 unter Hinweis auf einen am 31. August 2006 erlittenen Autounfall bei der Invalidenversicherung zum Rentenbezug und am 25. November 2010 zum Bezug einer Hilflosenentschädigung angemeldet. Die IV-Stelle des Kantons Zürich sprach ihr mit Verfügung vom 27. Mai 2011 rückwirkend ab 1. Dezember 2009 eine Hilflosenentschädigung für eine Hilflosigkeit mittleren Grades zu. Nach einer Observation der Versicherten im Zeitraum vom 11. Juni bis 7. Juli 2012 sistierte sie die Hilflosenentschädigung mit Verfügung vom 10. Januar 2013 per sofort. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 19. Juni 2013 ab. A.b. Nach Einholung eines polydisziplinären Gutachtens der Medizinischen Abklärungsstelle (Medas) Ostschweiz vom 18. Dezember 2013 stellte die IV-Stelle die Hilflosenentschädigung mit Verfügung vom 25. September 2014 rückwirkend per 1. August 2012 ein und stellte fest, dass die ausgerichteten Leistungen für den Zeitraum ab August 2012 bis 10. Januar 2013 zurückzuerstatten seien. Mit Verfügung vom 29. September 2014 verneinte die IV-Stelle sodann einen Anspruch der Versicherten auf Leistungen der Invalidenversicherung. B. B.a. Mit Beschwerde vom 31. Oktober 2014 liess A._ beantragen, in Aufhebung der Verfügung vom 25. September 2014 sei die IV-Stelle anzuweisen, die Hilflosenentschädigung per 30. November 2013 einzustellen und die Leistungen für den Zeitraum vom 10. Januar bis 30. November 2013 zu erbringen. Zudem sei festzustellen, dass die Voraussetzungen für eine Rückerstattung der für den Zeitraum von August 2012 bis 10. Januar 2013 ausgerichteten Leistungen nicht erfüllt seien. B.b. Mit Beschwerde vom 3. November 2014 liess A._ sodann beantragen, die Verfügung vom 29. September 2014 sei aufzuheben und die IV-Stelle anzuweisen, ihr rückwirkend ab 1. Juli 2008 bis 30. November 2013 eine Invalidenrente basierend auf einem Invaliditätsgrad von 100 % auszurichten. B.c. Das Sozialversicherungsgericht des Kantons Zürich vereinigte die Verfahren mit Verfügung vom 16. Januar 2015. Mit Entscheid vom 23. Februar 2016 änderte es die Verfügung der IV-Stelle vom 25. September 2014 in teilweiser Gutheissung der Beschwerde vom 31. Oktober 2014 dahingehend ab, dass die Hilflosenentschädigung mittleren Grades rückwirkend per 1. Oktober 2012 eingestellt wurde und die ausgerichteten Leistungen für den Zeitraum ab 1. Oktober 2012 bis 10. Januar 2013 zurückzuerstatten seien. Die Beschwerde vom 3. November 2014 betreffend Invalidenrente wies es ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle, in Aufhebung des kantonalen Entscheids vom 23. Februar 2016 sei die Verfügung der IV-Stelle vom 25. September 2014 zu bestätigen. A._ lässt unter Verweis auf den vorinstanzlichen Entscheid die Abweisung der Beschwerde beantragen. Das Bundesamt für Sozialversicherungen (BSV) schliesst auf Beschwerdegutheissung.