Faits: A. Le 1er décembre 2011, la Municipalité de Morrens a accordé à la Commune de Morrens un permis de construire portant sur la transformation (création de six appartements) de la ferme communale située sur la parcelle n° 1070 du Registre foncier communal. L'opposition formée par les propriétaires voisins A.X._ et B.X._ a été rejetée. Les opposants ont saisi la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: la CDAP) qui, par arrêt du 9 novembre 2012, a déclaré le recours irrecevable, faute de qualité pour agir. Le 23 avril 2013 (cause 1C_639/2012), le Tribunal fédéral a annulé cet arrêt et renvoyé la cause à la CDAP, considérant que les opposants n'habitaient qu'à une dizaine de mètres du projet et que les modifications envisagées seraient visibles depuis leur bien-fonds. B. Par avis du 6 mai 2013, la cause a été reprise par la CDAP, dans la même composition que lors du premier arrêt. Les parties ont été invitées à se déterminer. Le 26 juin 2013, les époux X._ ont requis la récusation des membres de la CDAP. Ils mettaient en doute leurs compétences juridiques et relevaient que des pressions auraient été exercées lors d'une audience du 22 août 2012 afin d'obtenir un retrait du recours. Par ailleurs, les juges ne se seraient pas intéressés aux aspects techniques de la cause et auraient admis la solution préconisée par la municipalité en matière de places de stationnement, sans en vérifier la faisabilité. Par arrêt du 6 septembre 2013, la Cour administrative du Tribunal cantonal vaudois a rejeté la demande de récusation. L'attitude des magistrats lors de l'audience du 22 août 2012 ne démontrait pas un manque d'impartialité, et les requérants n'avaient pas demandé de récusation à l'issue de cette audience. Le premier arrêt ne portait que sur la qualité pour agir, de sorte que les questions à examiner après la reprise de la procédure étaient différentes. C. Par acte du 11 octobre 2013, A.X._ et B.X._ forment un recours en matière de droit public par lequel ils demandent l'annulation de l'arrêt de la Cour administrative et le renvoi de la cause à cette autorité pour complément d'instruction et nouvelle décision. La Cour administrative et la CDAP se réfèrent à l'arrêt entrepris. La commune de Morrens conclut au rejet du recours. Le SIPAL a renoncé à se déterminer. Les recourants ont répliqué, maintenant leurs motifs et conclusions.