Sachverhalt: A. B._, geboren am 11. Januar 1995, litt an sprachlichen sowie wahrnehmungsbedingten Entwickungsverzögerungen, weshalb die Invalidenversicherung den Sprachheilkindergarten im Externat vom 14. August 2000 bis 31. Juli 2001 als Eingliederungsmassnahme und ambulante Psychotherapie unter mehrfacher Verlängerung dieser medizinischen Massnahme vom 4. November 2000 bis 31. Oktober 2005 übernahm. Die Nichtverlängerung dieser medizinischen Massnahme hob das Versicherungsgericht des Kantons Aargau mit unangefochten in Rechtskraft erwachsenem Entscheid vom 15. August 2007 auf und wies die Sache zu weiteren Abklärungen im Sinne der Erwägungen an die IV-Stelle des Kantons Aargau zurück. Nachdem die Psychotherapeutin Dr. phil. D._ die Behandlung zwischenzeitlich im Juni 2007 abgeschlossen hatte, verlängerte die IV-Stelle rückwirkend die Übernahme der ambulanten Psychotherapie als medizinische Massnahme nochmals für die verbleibende Behandlungsdauer vom 1. November 2005 bis zum 30. Juni 2007 (Verfügung vom 16. Mai 2008). Nach dem Auftreten dissoziativer Anfälle ab Dezember 2008 meldete sich B._ am 6. Februar 2009 erneut wegen ihrer Lernbehinderung bei der IV-Stelle zum Leistungsbezug an. Diese gewährte ihr Berufsberatung und Abklärung der beruflichen Eingliederungsmöglichkeiten. Zudem erteilte die IV-Stelle am 3. Dezember 2009 Kostengutsprache für die Übernahme der ambulanten Psychotherapie vom 10. August 2009 bis 31. August 2010, welche sie am 30. August 2010 für die Dauer vom 1. September 2010 bis 31. August 2012 verlängerte. Weiter übernahm sie am 16. August 2011 die erstmalige berufliche Ausbildung der B._ als Logistikerin in der Ausbildungsstätte A._ für die Dauer vom 8. August 2011 bis 7. August 2014. Am 27./28. April und 8. Mai 2012 konnte zwischen der Stiftung A._, der Versicherten und der Firma G._ eine "Vereinbarung für begleitete Teilausbildung" über eine Lehrstelle als Logistikerin abgeschlossen werden. Mit Schreiben vom 5. Mai 2012 beantragte die psychiatrisch behandelnde Dr. med. L._ die ambulante Psychotherapie sei von der Invalidenversicherung bis zum Ende der Ausbildung im August 2014 zu übernehmen. Nach Durchführung des Vorbescheidverfahrens hielt die IV-Stelle am 17. Januar 2013 an der Verneinung des Anspruchs auf Übernahme der ambulanten Psychotherapie ab 1. September 2012 fest. B. Die hiegegen erhobene Beschwerde der B._ wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 10. Dezember 2013 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt B._ im Wesentlichen, unter Aufhebung des angefochtenen Gerichtsentscheides sei die IV-Stelle zu verpflichten, die psychotherapeutische Behandlung zu übernehmen; eventualiter seien weitere Abklärungen durchzuführen. Zudem ersucht B._ um Gewährung der unentgeltlichen Rechtspflege. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.