Faits : A. En 1991, les avocats A._, B._ et D._ ainsi qu'un quatrième avocat se sont installés ensemble comme avocats et notaires à Sion. Le 21 décembre 1992, ils ont signé un acte intitulé contrat de société simple; prévu pour une durée initiale de cinq ans, renouvelable pour la même durée par tacite reconduction sauf dénonciation donnée par un associé six mois avant chaque échéance contractuelle, l'accord prévoyait les règles à appliquer pour le cas où l'un des associés entendait quitter l'étude pour une échéance contractuelle et où la société simple devait être liquidée. En février 1996, C._ a intégré la société en qualité d'associé. Le 30 juin 1996, le quatrième membre fondateur a quitté la société simple suite à un différend. A cette occasion, les associés restants, représentés par l'avocat D._ qui avait la charge de mener les négociations, ont signé avec le membre fondateur sortant, le 5 juillet 1996, une convention de sortie. Dans le courant de l'année 2007, les relations entre les quatre associés se sont détériorées. Le 31 janvier 2008, les quatre associés ont signé une convention. Elle prévoyait que Me D._ quitterait l'étude au plus tard le 30 juin 2008 et que la société simple subsisterait entre les trois autres associés, à savoir Mes A._, B._ et C._. Elle réglait en outre notamment les conséquences financières liées au départ de l'associé sortant. Tout litige intervenant dans l'exécution ou l'interprétation de la convention devait être tranché par un arbitre unique que le Bâtonnier de l'Ordre des avocats valaisans, en exécution de l'accord précité, a désigné le 21 février 2008 en la personne de l'avocate E._. Peu après la signature de la convention, la situation s'est dégradée au point que la poursuite d'un but commun est devenue impossible. Le 8 avril 2008, les quatre associés ont signé une convention de procédure par laquelle ils définissaient la mission de l'arbitre. Celui-ci devait statuer définitivement sur la question de savoir s'il avait été valablement mis fin au contrat de société simple, examiner la liquidation de la société simple et, le cas échéant, la problématique des indemnisations éventuelles, enfin concilier les parties si faire se pouvait. Me D._ a définitivement quitté l'étude le 27 avril 2008 en omettant d'emporter sa robe d'avocat taillée à sa mesure, robe que les associés restants ont par la suite refusé de lui remettre au motif qu'elle aurait été acquise par la société simple. La séparation au plan financier s'est faite dans un climat extrêmement tendu. B. Le 7 octobre 2008, Me D._ a ouvert action devant l'arbitre. Il concluait principalement à la dissolution et à la liquidation de la société simple, au paiement d'un million de francs à titre de liquidation de la société simple et d'un million de francs à titre de dommages-intérêts, sa robe d'avocat devant lui être restituée. Les trois autres associés ont conclu au rejet de la demande et à ce que la liquidation soit ordonnée. Par sentence du 16 septembre 2014, après une procédure émaillée de nombreux incidents, l'arbitre a partiellement admis la demande. Elle a déclaré la société simple dissoute au 31 janvier 2008 et constaté que celle-ci subsistait toutefois entre Me A._, Me B._ et Me C._. Elle a astreint ces derniers à verser en capital le montant de 145'505 fr. à Me D._, sous déduction de 12'950 fr. déjà payés. Elle a ordonné la restitution de la robe d'avocat à Me D._. Elle a enfin fixé et réparti les frais et dépens. C. Me A._, Me B._ et Me C._ (ci-après: les recourants) ont déposé un recours en matière civile au Tribunal fédéral. Ils concluent à l'annulation de la décision arbitrale dans la mesure où elle les astreint à payer 145'505 fr. (sous déduction de 12'950 fr.) et où elle règle les frais et dépens; ils ont en outre requis l'effet suspensif. Dans sa réponse, Me D._ (ci-après: l'intimé) conclut au rejet du recours en tant qu'il est recevable et au rejet de la requête d'effet suspensif. Les recourants se sont brièvement déterminés. Par ordonnance du 2 décembre 2014, la Présidente de la Cour de céans a accordé l'effet suspensif.