Faits:
A. C._ est propriétaire de la parcelle n° 21 du cadastre de la commune d'Orges. Trois bâtiments y sont érigés, dont le bâtiment ECA n° 134, sis en zone village, qui abritait une remise et une porcherie et dont une partie a été aménagée en studio.
A._ et B._ sont propriétaires de la maison construite sur la parcelle n° 25, en limite ouest de celle de C._.
Sans être au bénéfice d'une autorisation, C._ a effectué divers travaux dans et aux alentours du bâtiment n° 134 (agrandissement, pose de velux, création de places de parc, aménagement d'une salle d'escalade ou "mur de grimpe", d'un réfectoire, d'une cuisine et d'un W.C.). Suite à l'intervention de voisins, la municipalité a ordonné à C._ de mettre les travaux réalisés à l'enquête publique, ce qui fut fait du 20 août au 8 septembre 2002.
Plusieurs voisins, dont les époux A._ et B._, ont formé opposition, notamment en raison des nuisances occasionnées par l'utilisation du mur de grimpe. Leurs oppositions ont été levées le 29 octobre 2002. Sur recours des opposants, le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) a, par arrêt du 9 septembre 2003, annulé le permis de construire octroyé par la municipalité, au motif que le changement d'affectation de l'ancien rural en centre de loisirs n'était pas conforme à l'affectation de la zone. Il générait des nuisances excessives pour le voisinage, ce qui était contraire au règlement.
Une nouvelle enquête publique, portant sur la transformation et l'agrandissement du bâtiment n° 134, le changement d'affectation de la porcherie en studio et l'agrandissement de celui-ci, la création d'ouvertures en façades, la réalisation de deux chambres indépendantes, la pose de velux et l'aménagement de places de parc a ainsi eu lieu du 9 au 29 mars 2004. Les époux A._ et B._ ont à nouveau formé opposition. Les plans ont par la suite encore été modifiés, de sorte qu'une mise à l'enquête complémentaire a eu lieu du 6 au 25 août 2004, faisant apparaître que les travaux dans les étages (création de deux chambres indépendantes) étaient abandonnés. Les époux A._ et B._ ont toutefois maintenu leur opposition.
Le 30 septembre 2004, la municipalité a délivré le permis de construire, en l'assortissant toutefois de conditions particulières relatives à l'utilisation du mur de grimpe et en refusant les ouvertures en toiture et en façade dans la mesure où C._ renonçait à rendre les locaux concernés (grange et combles du bâtiment) habitables. Dans une lettre d'accompagnement adressée aux époux A._ et B._, la municipalité a précisé qu'elle se conformait en tous points à l'arrêt rendu le 9 septembre 2003 par le Tribunal administratif. Les places de parc empiétant sur la zone agricole avaient été abandonnées et le mur de grimpe était maintenu à l'usage de l'habitation (studio) à l'exclusion d'un "centre sportif".
Les époux A._ et B._, deux autres opposants ainsi que C._ ont recouru contre la décision communale. Par arrêt du 25 avril 2005, le Tribunal administratif a rejeté le recours des époux A._ et B._ et consorts mais a admis celui de C._. Il a réformé la décision d'octroi du permis en ce sens que la fréquentation du mur de grimpe, réservé à un usage strictement privé selon la demande de permis, ne pouvait pas être limitée dans le cadre du permis de construire. La Cour cantonale a également souligné que les travaux prévus dans l'ancien clapier étaient assimilables à une transformation et non à une reconstruction, pour autant que les murs et le toit de l'annexe soient maintenus. Elle a estimé que tel était le cas et que le non-respect de la distance aux limites n'était dès lors pas relevant.
Le 20 mai 2005, la municipalité a délivré un permis autorisant la transformation et l'agrandissement du bâtiment n° 134 avec un changement d'affectation de la porcherie en studio. Le 8 juin 2005, elle a également édicté un document intitulé "annexe au permis de construire n° 185 - conditions particulières". Elle y soulignait que la fréquentation privée du mur de grimpe ne pouvait pas être limitée mais que la municipalité était en droit, le cas échéant, de s'assurer que l'installation ne soit pas mise à la disposition du public, que ce soit à titre gratuit ou moyennant un prix de location, et de veiller au respect des règles de police par les usagers de la parcelle. Dans cette annexe, la municipalité rappelait également l'absence d'autorisation pour les ouvertures telles que signalées sur le plan de mise à l'enquête.
Les époux A._ et B._ craignant que C._ ne se conforme pas à l'autorisation délivrée, une audience a été aménagée par le Tribunal administratif le 24 mai 2006, au cours de laquelle les parties ont signé une convention prévoyant un contrôle de la construction par un architecte choisi par les soins des époux A._ et B._.
Le 27 janvier 2007, l'architecte désigné a transmis son rapport à la municipalité. Il avait demandé que le plan d'enquête soit mis à jour en raison des modifications qui avaient été postérieurement apportées à ce dernier et qui avaient été entérinées par l'annexe au permis de construire du 8 juin 2005. Sur la base du plan ainsi mis à jour, il a jugé que les travaux réalisés étaient conformes à ceux qui avaient été autorisés. S'agissant du vitrage au-dessus de la porte du garage, il a admis qu'il avait été - contrairement aux ouvertures en façades - autorisé par le permis. L'architecte a pour le surplus simplement indiqué quelles étaient les interventions qui avaient été opérées sur l'ancien clapier: maintien du pan de bois ancien à l'extérieur; intérieur doublé à l'aide d'une isolation thermique, d'une brique et d'un crépi ciment; toiture remplacée.
Le 13 février 2007, la municipalité a accordé le permis d'habiter à C._. Elle a souligné que l'immeuble respectait les affectations envisagées. Le studio était conforme aux plans et la grange était parfaitement inhabitable. Le vitrage au-dessus de la porte de cette dernière n'avait pas été biffé lors de la visite locale du Tribunal administratif. Il n'appartenait pas à la municipalité de juger s'il s'agissait d'un oubli ou d'un acte délibéré. Sa hauteur au-dessus du sol ne permettant pas de rendre les locaux éclairés "habitables", il pouvait au demeurant être considéré comme autorisé. Les règlements régissant les lieux de stockage de carburants étant stricts, le doublement intérieur du pan en bois de l'ancien clapier devait être regardé comme une simple mise en conformité. Enfin, vu la vétusté du toit de l'ancien clapier, le remplacement de ce dernier était logique du point de vue de la sécurité et de la salubrité. Il s'agissait d'une modification mineure autorisable.
Par arrêt du 6 septembre 2007, le Tribunal administratif a rejeté le recours que les époux A._ et B._ avaient interjeté contre cette dernière décision et a confirmé l'octroi du permis d'habiter.
B. Agissant par la voie du recours en matière de droit public, les époux A._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt rendu le 6 septembre 2007 par le Tribunal administratif. Ils invoquent le principe de l'interdiction de l'arbitraire.
Le Tribunal administratif a confirmé que le plan sur lequel l'architecte s'était basé correspondait bien aux travaux autorisés par le permis de construire n° 185 délivré le 20 mai 2005. Il s'est pour le surplus référé à l'arrêt attaqué. C._ et D._ ont conclu au rejet du recours. Ils ont par la suite transmis des photocopies de plans datés du 16 juillet 2002, les uns portant les corrections apportées par le Tribunal administratif, les autres vierges. La municipalité d'Orges a conclu à l'irrecevabilité du recours, subsidiairement à son rejet. Elle a communiqué une photocopie du plan de l'enquête complémentaire obtenu auprès de la Centrale des Autorisations en Matière d'Autorisation de construire (CAMAC). Par courrier du 4 décembre 2007, les époux A._ et B._ se sont spontanément déterminés.

Considérant en droit:
1. Le recours est dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions. Il est dès lors recevable comme recours en matière de droit public selon les art. 82 ss LTF et 34 al. 1 LAT dans sa teneur actuelle selon le ch. 64 de l'annexe à la loi sur le Tribunal administratif fédéral. Aucun des motifs d'exclusion prévu à l'art. 83 LTF n'est réalisé.
2. Aux termes de l'art. 89 al. 1 LTF, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a), est particulièrement atteint par la décision attaquée (let. b) et a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (let. c). Cette disposition reprend les exigences qui prévalaient sous l'empire de la loi fédérale d'organisation judiciaire pour le recours de droit administratif (cf. art. 103 let. a OJ; Message du Conseil fédéral concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001 [ci-après: Message], FF 2001 p. 4126). Le recourant doit se trouver dans une relation spéciale, étroite et digne d'être prise en considération avec l'objet de la contestation. A elle seule, la proximité avec l'objet du litige ne suffit pas à conférer au voisin la qualité pour recourir contre la délivrance d'une autorisation de construire. En effet, le voisin doit en outre retirer un avantage pratique de l'annulation ou de la modification de l'arrêt contesté, qui permette d'admettre qu'il est touché dans un intérêt personnel se distinguant nettement de l'intérêt général des autres habitants de la commune (Message, FF 2001 p. 4127; <ref-ruling> consid. 1.3.1 p. 252; cf. <ref-ruling> consid. 1 p. 433). Le voisin qui entend recourir contre une autorisation de construire doit démontrer qu'il a la qualité pour agir, conformément aux exigences de motivation de l'art. 42 al. 1 et 2 LTF (cf. consid. 3); dans la mesure où cette qualité n'apparaît pas évidente, il n'appartient pas au Tribunal fédéral de rechercher les éléments qui pourraient la fonder (<ref-ruling> consid. 1.1 p. 251).
3. Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Conformément à l'art. 42 al. 2 LTF qui pose des exigences générales en matière de motivation des recours au Tribunal fédéral, le recourant doit exposer succinctement en quoi l'acte attaqué viole le droit. Au surplus, lorsque le recours est formé pour violation des droits constitutionnels, l'art. 106 al. 2 LTF prévoit pour la motivation du recours des exigences qualifiées, correspondant à celles prescrites par l'ancien art. 90 al. 1 let. b OJ; il incombe donc au recourant d'expliquer de manière claire et précise en quoi la décision qu'il conteste pourrait être contraire aux garanties de la Constitution (<ref-ruling> consid. 1.4.2 p. 254; <ref-ruling> consid. 1.4 p. 287).
4. Le litige porte exclusivement sur l'octroi du permis d'habiter. Les recourants allèguent que les plans utilisés pour juger de la conformité de la construction à l'autorisation ne sont pas ceux de la mise à l'enquête et que la construction n'est pas conforme à l'autorisation délivrée. Ils estiment en particulier que l'ancien clapier a été reconstruit et non pas simplement transformé et que l'affectation des locaux à l'étage aurait dû faire l'objet d'une mise à l'enquête publique.
4.1 Les recourants n'expliquent pas, d'une manière qui satisfasse aux exigences de motivation rappelées ci-dessus, quel intérêt pratique ils entendent retirer de la prétendue non-concordance entre les plans d'enquête et ceux sur la base desquels l'architecte a rendu son rapport. La recevabilité de leur grief apparaît dès lors pour le moins douteuse. Cela étant, cette question peut demeurer indécise, le grief s'avérant de toute façon mal fondé.
Il ressort du compte-rendu de l'audience du Tribunal administratif du 25 juin 2007 que le plan mis à l'enquête et ayant abouti à l'octroi, non contesté, du permis de construire, est celui du 13 juillet 2004. Ce plan ne mentionnait pas la suppression des ouvertures puisque celle-ci n'a été exigée qu'à l'occasion de la délivrance du permis d'habiter le 30 septembre 2004. Saisi d'un recours contre cette dernière décision, le Tribunal administratif a organisé un transport sur place en avril 2005 au cours duquel il apparaît qu'il a modifié, à la main, le plan du 13 juillet 2004, afin de tenir compte de l'interdiction de créer des ouvertures en toiture et façade.
Les recourants soutiennent que ce serait non pas le plan du 13 juillet 2004 qui aurait été fourni à l'architecte mandaté mais une version antérieure du 10 février 2004. Peu importe en définitive puisque le compte-rendu de l'audience du 25 juin 2007 mentionne très clairement que les plans du 13 juillet 2004 à disposition du Tribunal administratif correspondaient au plan daté du 16 juillet 2002 et modifié la dernière fois le 20 mai 2005. La comparaison des plans aboutit certes à la constatation de quelques divergences mais elles sont mineures et ne portent au demeurant pas à conséquence, s'agissant de points non litigieux. Dans ces circonstances, à supposer qu'il soit recevable, le grief doit être rejeté.
4.2 Les recourants ont formé opposition à une première autorisation de construire du 30 avril 2004 qui a été rejetée par un arrêt du Tribunal administratif du 25 avril 2005. Une nouvelle autorisation de construire a été délivrée le 20 mai 2005, accompagnée d'une annexe du 8 juin suivant, qui n'a fait l'objet d'aucune opposition. Les recourants ne sauraient ainsi, dans le cadre d'une procédure relative à l'octroi du permis d'habiter, formuler des critiques relatives à la conformité de la construction à la zone. Le grief relatif à l'affectation des locaux à l'étage, dont les recourants ne prétendent pas expressément qu'elle serait contraire au permis de construire, est donc clairement irrecevable. Les recourants mentionnent certes encore que l'ouverture réalisée au niveau de la porte d'entrée des locaux ne figurait pas dans le plan de mise à l'enquête complémentaire et qu'elle contreviendrait de manière flagrante à l'annexe de juin 2005. A cet égard, le Tribunal administratif a toutefois relevé que cette ouverture était apparemment très récente et par conséquent postérieure à la délivrance du permis d'habiter, de sorte qu'elle ne faisait pas partie de l'objet du litige. Il a par ailleurs estimé qu'elle ne saurait impliquer à elle seule un changement d'affectation nécessitant une autorisation municipale. Les recourants ne critiquant en rien cette appréciation, leur grief est dès lors également irrecevable sur ce point.
4.3 S'agissant du clapier, les recourants indiquent sans autres que le Tribunal administratif aurait écarté sans motif une atteinte à l'art. 6 du règlement communal qui prohiberait une reconstruction après une destruction des 3⁄4 au moins d'un bâtiment sans respecter la limite des constructions. Ils mettent également en cause l'augmentation de l'épaisseur des murs ainsi que le rehaussement de la toiture de plusieurs centimètres et la destruction des anciens chevrons. La superficialité du premier argument s'oppose à son examen par le Tribunal de céans. S'agissant du doublement de la paroi à l'intérieur, les recourants ne critiquent pas l'appréciation du Tribunal administratif selon laquelle il était dicté par des raisons de sécurité, qu'il rentrait dans le cadre de la tolérance admissible et qu'il avait été mentionné dans un courrier du 26 septembre 2005. Les recourants ne remettent pas davantage en cause le remplacement des chevrons défectueux et l'absence de modification de la cote à la corniche malgré le léger rehaussement de la toiture constatés par le Tribunal administratif. Pour ces motifs déjà, les griefs doivent être tenus pour irrecevables. En outre, on discerne mal quel est l'intérêt des recourants à agir sur ces points. Ces derniers n'apportent au demeurant pas même l'ébauche d'une explication. Les recourants ne justifiant ainsi pas d'un intérêt suffisant au sens de l'art. 89 LTF dans une argumentation satisfaisant aux exigences de motivation posées par la LTF, les griefs doivent au surplus être déclarés irrecevables pour cette raison.
5. Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable. Les recourants, qui succombent, doivent supporter les frais judiciaires (art. 65 et 66 LTF). Ni les intimés, qui ont procédé sans le concours d'un avocat, ni la commune d'Orges (art. 68 al. 3 LTF; arrêt 1C_122/2007 du 24 juillet 2007 consid. 6), n'ont droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3. Le présent arrêt est communiqué aux parties, à la Municipalité d'Orges ainsi qu'au Tribunal administratif du canton de Vaud.
Lausanne, le 27 février 2008
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Féraud Truttmann