Faits: A. A._ a exploité pendant plusieurs années le manège de "X._" situé sur le Domaine de Y._, entre W._ et Z._. Au printemps 1999, la prénommée a contracté deux assurances auprès de l'Etablissement d'assurance contre les incendies et les éléments naturels du canton de Vaud (ECA): une assurance mobilière "ménage" (police du 9 avril 1999) et une assurance mobilière "agricole" (police du 4 mai 1999). Par décision de justice, elle a dû cesser, pour le 31 mars 2002, l'exploitation du manège précité. Par convention avec le propriétaire, le délai pour évacuer les lieux a été fixé au 30 avril 2002. Par lettre du 27 février 2002, A._ a informé l'ECA qu'elle devait cesser ses activités au Domaine de Y._ pour le 31 mars 2002; elle précisait qu'elle était "pour l'instant" sans aucune adresse à partir du 1er avril 2002 et qu'elle tiendrait l'ECA au courant de l'évolution de la situation. Le 4 mars 2002, l'ECA lui a adressé une lettre intitulée "Confirmation d'annulation de vos assurances ménage et agricole (...)", dans laquelle il indiquait avoir pris note de l'annulation des deux polices d'assurance susmentionnées et précisait que cette annulation était effective "dès et y compris le 1er janvier 2002". Le 4 avril 2002, un incendie a détruit l'un des bâtiments du Domaine de Y._ et une partie des biens qu'il contenait. Le 11 avril 2002, A._ en a avisé l'ECA et lui a envoyé une liste des biens détruits, en indiquant que le montant total des dégâts s'élevait à 125'005 fr. L'ECA a refusé de payer, en faisant valoir que la police d'assurance mobilière "agricole" avait été annulée le 4 mars 2002, avec effet au 1er janvier 2002. B. Le 22 août 2003, A._ a ouvert action devant la Cour civile du Tribunal cantonal vaudois (ci-après: la Cour civile), en concluant au paiement par l'ECA d'un montant de 125'005 fr. avec intérêt à 5 % l'an dès le 22 juin 2002, montant qu'elle a porté à 158'700 fr. par la suite. Par jugement du 26 septembre 2006, la Cour civile a condamné l'ECA à verser à A._ le montant de 120'823 fr. avec intérêt à 5 % l'an dès le 30 août 2003. Elle a considéré que l'ECA avait résilié à tort les contrats d'assurance mobilière "agricole" et "ménagère" de A._, qui devait être indemnisée pour la perte des biens qu'elle avait déclarés comme sinistrés le 11 avril 2002, à quelques exceptions près. C. L'ECA a alors porté sa cause devant la Chambre des recours du Tribunal cantonal vaudois (ci-après: la Chambre des recours) qui, par arrêt du 18 juillet 2007, a rejeté le recours en réforme et confirmé le jugement de la Cour civile du 26 septembre 2006. Le recours en nullité formé subsidiairement a été déclaré irrecevable. La Chambre des recours a considéré que l'existence de la couverture d'assurance était acquise à la date du sinistre, en rappelant le principe de l'assurance obligatoire. Elle a également écarté les différents griefs que l'ECA avait soulevés par rapport à la quotité du dommage. D. Contre l'arrêt de la Chambre des recours du 18 juillet 2007, l'ECA interjette un recours auprès du Tribunal fédéral. Il conclut, sous suite de frais et dépens, à la réforme de l'arrêt attaqué en ce sens qu'"aucune indemnité n'est due" par lui à A._ "en raison de l'incendie du 4 avril 2002", subsidiairement à l'annulation de l'arrêt entrepris. La Chambre des recours se réfère à l'arrêt attaqué. A._ conclut, avec dépens, au rejet du recours dans la mesure de sa recevabilité.