Faits: A. B._ est propriétaire à Chesières de la parcelle no 2825 du cadastre de la Commune d'Ollon sise en zone de chalets A selon le plan partiel d'affectation "Les Ecovets - Chesières - Villars - Arveyes" (ci-après: PPA). Sur ce bien-fonds d'une surface de 1'027 m2, est érigé un chalet d'habitation qu'occupent la propriétaire et son époux. Ce terrain est bordé au sud-est par la parcelle no 5041, propriété de A._. On y accède depuis la route cantonale par un chemin privé qui fait l'objet d'une servitude de passage grevant les parcelles nos 2833 et 5041. En février 2001, B._ a obtenu un permis de construire un garage enterré pour deux véhicules dans la partie sud-ouest de son terrain. Ce garage n'a jamais été construit. B._ a par contre érigé, en 2005, un couvert à la limite de la parcelle no 5041. Cette construction, qui a l'allure d'un petit chalet, présente une hauteur de 6 m 60 au faîte et de 4 m 20 à la corniche. Elle est constituée sur trois côtés de murs de soutènement en briques de ciment et au sud d'une ouverture de 9 m 20 de large sur 3 m 30 de haut qui donne sur une place goudronnée sise sur la propriété de A._ et grevée d'une servitude de passage. Interpellée par A._ le 22 juillet 2005 au sujet de cette construction, la municipalité d'Ollon (ci-après: la municipalité) l'a informé que celle-ci n'était pas conforme aux plans mis à l'enquête publique mais qu'elle respectait les plans complémentaires approuvés le 23 février 2005. A._ a fait valoir que la construction était érigée en limite de sa propriété et lui causait par conséquent préjudice. De fait, l'avant-toit empiétait de 5 cm sur sa parcelle et de 24 cm sur la parcelle voisine no 2833. Le 27 avril 2006, la municipalité a informé A._ qu'en application des art. 111 de la loi cantonale du 4 décembre 1985 sur l'aménagement du territoire et des constructions (ci-après: LATC) et 72d du règlement d'application du 19 septembre 1986 de la LATC (ci-après: RLATC), elle dispensait d'enquête publique la construction litigieuse. Par arrêt du 5 juillet 2007, le Tribunal administratif du canton de Vaud (remplacé depuis le 1er janvier 2008 par la Cour de droit administratif et public du Tribunal cantonal; ci-après: le Tribunal cantonal) a admis le recours de A._ contre la décision de la municipalité du 27 avril 2006. Il retenait en substance que l'art. 111 LATC n'était pas applicable au motif que la construction litigieuse ne pouvait être qualifiée de minime importance. Il a cependant retenu que A._ ayant pu faire valoir ses droits et que la construction achevée était visible, il ne se justifiait pas d'ordonner une mise à l'enquête a posteriori des travaux réalisés. Il a également jugé que la construction, du fait de sa taille, ne correspondait pas à une dépendance de peu d'importance au sens de l'art. 39 RLATC, de sorte que les distances minimales prévues par le règlement du PPA n'étaient pas respectées. Le Tribunal cantonal a renvoyé la cause à la municipalité pour qu'elle statue sur la suppression ou la modification des travaux non autorisés. B. Le 25 juillet 2007, la municipalité a invité B._ à lui faire parvenir pour ratification les documents mentionnant les modifications destinées à faire de la construction litigieuse une dépendance de peu d'importance. Le 13 mai 2008, B._ a indiqué qu'elle prévoyait d'abaisser la toiture de 1 m 10, de supprimer le plancher des combles, l'escalier et l'accès ouest ainsi que les lambris des façades est-sud et ouest. Elle a déposé un jeu de plans montrant l'état actuel et l'état projeté. La municipalité a transmis à A._ la lettre et les plans, lui précisant qu'elle considérait la solution proposée conforme aux exigences de l'arrêt du 5 juillet 2007. A._ a fait savoir que selon lui les modifications prévues ne suffisaient pas à respecter le jugement précité. Le 26 juin 2008, la municipalité a délivré le permis de construire à B._ et avisé A._ que le projet était conforme et pouvait être désormais considéré comme une dépendance au sens de l'art. 39 RLATC. C. Par arrêt du 17 juillet 2009, le Tribunal cantonal a rejeté le recours de A._ et maintenu la décision de la municipalité du 16 juin 2008. Il retenait en substance qu'il ne se justifiait pas, en l'occurrence, d'exiger une nouvelle mise à l'enquête publique puisqu'il s'agissait de modifications destinées à corriger divers éléments critiqués par des opposants. Par ailleurs, l'intéressé avait pu faire valoir ses griefs sur les modifications projetées avant la délivrance du permis et dès lors on ne voyait pas quels avantages lui aurait procurés une enquête publique. Le Tribunal cantonal considérait également que les modifications litigieuses permettaient de faire application de l'art. 39 al. 2 RLATC et que la visite des lieux n'avait pas permis de déterminer avec précision quels étaient les inconvénients dont se prévalait l'intéressé, si ce n'est celui de la stricte application de la réglementation. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 17 juillet 2009 et d'ordonner la démolition de la construction litigieuse. Il se plaint principalement d'une violation de son droit d'être entendu (art. 29 al. 2 Cst.) et d'une interprétation arbitraire de l'art. 39 RLATC. Il s'oppose également à l'allocation de dépens à la municipalité intimée. Le Tribunal cantonal renonce à répondre au recours, sous réserve de brèves observations concernant les dépens alloués à la municipalité. La municipalité ainsi que B._ concluent au rejet du recours pour autant qu'il soit recevable. Le recourant a répliqué aux observations de la municipalité le 13 octobre 2009. Par ordonnance du 8 octobre 2008, le président de la Ire Cour de droit public a admis la requête d'effet suspensif en tant qu'elle porte sur l'obligation faite au recourant de verser la somme de 1'500 fr. à titre de dépens à la municipalité d'Ollon et l'a rejetée pour le surplus.