Sachverhalt: A. M._ (geboren 1964) arbeitete zuletzt bis 22. Januar 2003 als Magaziner und Verkäufer bei der Firma X._. Am 3. November 2003 meldete er sich unter Hinweis auf eine hochgradige Schwerhörigkeit zum Bezug einer Rente bei der Invalidenversicherung an. Nachdem die IV-Stelle des Kantons Basel-Landschaft verschiedene medizinische Gutachten eingeholt, eine Kosten-gutsprache für eine verbesserte Hörgeräteversorgung erteilt und berufliche Integrationsmassnahmen eingeleitet hatte, beurteilte sie den Versicherten als voll arbeitsfähig. Trotzdem veranlasste sie eine polydisziplinäre Untersuchung durch das Institut Y._, welches seinen Bericht am 14. Juni 2006 vorlegte. Darauf abgestützt wies die IV-Stelle mit Verfügung vom 17. November 2006 das Leistungsgesuch aufgrund eines Invaliditätsgrades von 15% ab. Mit Entscheid vom 11. Juli 2007 hiess das Kantonsgericht Basel-Landschaft die hiegegen erhobene Beschwerde teilweise gut, hob die angefochtene Verfügung auf und wies die Angelegenheit zur weiteren Klärung und zum Erlass einer neuen Verfügung zurück. Es hielt fest, dass auf das Gutachten des Instituts Y._ abgestellt werden könne und eine körperlich leichte bis mittelschwere Tätigkeit aus medizinisch-theoretischer Sicht zu 100% zumutbar sei, sofern der Versicherte für derartige Tätigkeiten keiner näher umschriebenen Formen der Kommunikation bedürfe. Die IV-Stelle habe es allerdings unterlassen, die Verweisungstätigkeiten genauer und unter Berücksichtigung der erheblichen Beeinträchtigungen am Arbeitsplatz zu umschreiben. Aus diesem Grund habe die Verwaltungsbehörde zu prüfen, ob eine zumutbare Verwertbarkeit der Restarbeitsfähigkeit in der vorliegend interessierenden Zeitspanne von Januar 2004 bis Oktober 2008 existent gewesen sei. Mit Verfügung vom 24. Juli 2008 übernahm die IV-Stelle zwei Cochlea-Implantate mitsamt Nachbehandlung für die Dauer von sechs Monaten. Am 14. Oktober 2008 wurde am rechten, am 17. März 2009 am linken Ohr das Implantat eingesetzt. Nachdem der Versicherte ein integrierendes Arbeitstraining absolviert hatte, liess ihn die IV-Stelle erneut durch das Institut Y._ untersuchen (Gutachten vom 21. März 2011). Aufgrund eines Invaliditätsgrades von 37% verneinte die IV-Stelle am 2. November 2011 den Anspruch auf eine Invalidenrente. B. Hiegegen erhob der Versicherte Beschwerde beim Kantonsgericht Basel-Landschaft. Dieses hiess die Beschwerde mit Entscheid vom 23. August 2012 teilweise gut. Es hob die Verfügung vom 2. November 2011 auf und stellte fest, dass M._ ab 1. Oktober 2009 Anspruch auf eine Viertels-Invalidenrente habe. C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter teilweiser Aufhebung des angefochtenen Entscheides für die Zeit vom 1. Juni 2006 bis 30. September 2008 die Zusprechung einer ganzen, eventuell auch einer halben Invalidenrente und vom 1. Oktober 2008 bis 30. September 2009 eine ganze Invalidenrente, eventualiter die Rückweisung der Sache zur weiteren Abklärung an die Vorinstanz, beantragen. Ferner ersucht er um Gewährung der unentgeltlichen Prozessführung und Verbeiständung. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.