Sachverhalt: A. Die 1970 geborene H._ ist ausgebildete Spitalgehilfin und arbeitete zuletzt vom 1. März 2002 bis 30. April 2004 als Pflegeassistentin im Altersheim X._. Am 14. Mai 2004 meldete sie sich unter Hinweis auf seit Sommer 2003 bestehende, therapieresistente Fersenschmerzen bei der Invalidenversicherung zur Umschulung auf eine neue Tätigkeit an. Nach Abklärung der medizinischen und erwerblichen Verhältnisse bejahte die IV-Stelle des Kantons Zürich mit Verfügung vom 30. Juni 2004 einen Anspruch der Versicherten auf Umschulung zur Kosmetikerin. Mit Verfügung vom 14. Februar 2005 stellte sie die Umschulung ein, da H._ die Abschlussprüfung nicht bestanden habe und die Eingliederung mit weiteren Umschulungsmassnahmen nicht verbessert werden könne. Der Versicherten wurde Unterstützung bei der Arbeitsvermittlung zugesichert. Mit Verfügungen vom 20. Mai 2005 und 3. Februar 2006 schloss die IV-Stelle die Arbeitsvermittlung ab, weil eine solche zur Zeit nicht möglich sei. Nach erneuter Abklärung der medizinischen und erwerblichen Verhältnisse verneinte die IV-Stelle mit Verfügung vom 11. Mai 2006 einen Rentenanspruch. Daran hielt sie mit Einspracheentscheid vom 10. Januar 2007 fest. B. Beschwerdeweise liess H._ beantragen, es sei der Einspracheentscheid aufzuheben und die Sache zur Durchführung weiterer Abklärungen an die IV-Stelle zurückzuweisen, eventualiter seien ihr die gesetzlichen Leistungen zuzusprechen. Nach Einreichung weiterer Arztberichte vom 28. Juni, 2. und 12. Juli 2007 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde mit Entscheid vom 17. Juni 2008 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt H._ erneut beantragen, in Aufhebung des vorinstanzlichen Entscheids sei die Sache zur Durchführung weiterer Abklärungen an die IV-Stelle zurückzuweisen, eventualiter seien ihr die gesetzlichen Leistungen zuzusprechen. Gleichzeitig ersucht sie um Gewährung der unentgeltlichen Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.