Sachverhalt: A. A._ (Kläger, Beschwerdegegner) war nach eigenen Angaben bis zum 22. April 2010 bei der Y._ Versicherung AG und ab dem 1. Juni 2010 bei der X._ Versicherung AG (Beklagte, Beschwerdeführerin) krankentaggeldversichert. B. B.a Mit Eingabe vom 21. November 2011 erhob A._ Klage gegen die X._ Versicherung AG sowie die Y._ Versicherung AG mit dem im Laufe des Verfahrens abgeänderten Begehren, die X._ Versicherung AG, eventualiter die Y._ Versicherung AG, seien zu verpflichten, ihm für die Zeit vom 13. Juni 2010 bis zum 21. November 2011 Taggeldleistungen in der Höhe von Fr. 52'170.30, bzw. Fr. 58'367.40 zu bezahlen. B.b Das Sozialversicherungsgericht des Kantons Zürich beschränkte das Verfahren vorerst auf die Eintretensfrage und entschied mit Beschluss vom 23. Februar 2012, auf die Klage einzutreten, da bei Streitigkeiten aus Zusatzversicherungen zur sozialen Krankenversicherung vor einer einzigen kantonalen Instanz im Sinne von Art. 7 ZPO kein vorgängiges Schlichtungsverfahren durchzuführen sei. C. Mit Beschwerde in Zivilsachen beantragt die Beklagte dem Bundesgericht, es sei der Beschluss des Sozialversicherungsgerichts des Kantons Zürich vom 23. Februar 2012 aufzuheben und auf die Klage vom 21. November 2011 nicht einzutreten. Der Kläger beantragt die Abweisung der Beschwerde. Gleichzeitig beantragt er die Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. D. Mit Präsidialverfügung vom 7. Mai 2012 wurde der Beschwerde die aufschiebende Wirkung erteilt.