Faits: A. Le 5 mars 2012, A._ et B._, domiciliés à Grandvaux, ont requis un permis de construire une annexe à leur chalet sur la parcelle n° 5314 de la commune de Riddes. Helvetia Nostra a formé opposition. Par décision du 21 juin 2012, le Conseil communal de Riddes a levé l'opposition et délivré le permis de construire. Helvetia Nostra a recouru auprès du Conseil d'Etat du canton du Valais. Le 22 août 2012, celui-ci a déclaré le recours irrecevable faute de qualité pour recourir de l'organisation. Helvetia Nostra a saisi le Tribunal cantonal valaisan, lequel a rejeté le recours dans la mesure où il était recevable par arrêt du 23 novembre 2012. Il a mis à la charge de la recourante 1'000 fr. de frais judiciaires ainsi que 1'000 fr. de dépens en faveur des constructeurs. B. Le 21 décembre 2012, par la voie du recours en matière de droit public, Helvetia Nostra a demandé au Tribunal fédéral l'annulation de l'arrêt cantonal et le renvoi de la cause à l'autorité de dernière instance, subsidiairement la réforme de l'arrêt attaqué en ce sens que le permis de construire est annulé. Les intimés ont conclu à l'irrecevabilité ainsi qu'au rejet du recours. Les requêtes d'effet suspensif et de suspension de la procédure ont été admises par ordonnance présidentielle du 31 janvier 2013. Dans des arrêts de principe du 22 mai 2013, le Tribunal fédéral a notamment admis la qualité pour recourir d'Helvetia Nostra (ATF 139 II 271) ainsi que l'applicabilité directe des art. 75b et 197 ch. 9 Cst. (ATF 139 II 243 et 263). La procédure a été reprise par ordonnance du 2 juillet 2013. Après avoir pris connaissance des arrêts précités, les intimés ont modifié leurs conclusions par courrier du 12 août 2013. Ils demandent au Tribunal fédéral de suspendre la cause afin de permettre une modification de l'autorisation de construire du 21 juin 2012, le logement devant être occupé en permanence par des personnes domiciliées dans la commune de Riddes. Helvetia Nostra n'a pas été invitée à se déterminer, compte tenu de l'issue de la cause.