Faits: A. Par jugement du 10 septembre 2012, le Tribunal du IIe arrondissement pour le district de Sierre a reconnu X._ coupable de lésions corporelles simples, injure, menaces, contrainte, actes d'ordre sexuel avec des enfants, contrainte sexuelle, viol et violation du devoir d'assistance ou d'éducation. Il l'a condamné à une peine privative de liberté de 4 ans et 6 mois ainsi qu'à une amende de 500 francs. Le 10 mai 2013, X._ avait subi les deux tiers de sa peine. B. Par ordonnance du 16 mai 2013, le Tribunal de l'application des peines et mesures a refusé la libération conditionnelle de X._. C. Par ordonnance du 8 juillet 2013, la Chambre pénale du Tribunal cantonal du Valais a rejeté le recours formé par l'intéressé contre cette décision. D. X._ forme un recours en matière pénale contre cette décision. Invoquant une violation de l'art. 86 CP, il conclut, avec suite de frais et dépens, à ce que l'ordonnance attaquée soit annulée et sa libération conditionnelle ordonnée immédiatement. Par un mémoire séparé, il sollicite l'assistance judiciaire.