Faits : A. Par jugement du 25 juillet 2017, le Tribunal de police de l'arrondissement de l'Est vaudois a condamné X._, pour dommages à la propriété qualifiés et contravention à la loi vaudoise du 10 décembre 1969 sur la protection de la nature, des monuments et des sites (LPNMS; RS/VD 450.11), à une peine pécuniaire de 25 jours-amende à 50 fr. le jour et à une amende de 1'000 fr., la peine privative de liberté de substitution étant de 10 jours, peine complémentaire à celles prononcées le 11 décembre 2014 par le Ministère public de l'arrondissement de l'Est vaudois et le 4 juillet 2017 par le Tribunal de police de l'arrondissement de l'Est vaudois. Sur le plan civil, il a dit que X._ était le débiteur de A._, B._, C._, D._ et E._, solidairement entre eux, des montants suivants: 21'328 fr. 60 avec intérêts à 5 % l'an dès le 2 juillet 2017, à titre de dommages-intérêts; 360 fr., valeur échue, à titre de dommages-intérêts, et 10'239 fr. 40 à titre d'indemnité pour les dépenses occasionnées par la procédure. B. Par jugement du 5 janvier 2018, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel principal formé par X._ et l'appel joint des plaignants A._, B._, C._, D._ et E._. En substance, elle a retenu les faits suivants: En octobre 2014, à F._, X._, qui s'était proposé d'acquérir, avec G._, trois chalets sis sur la commune de F._, propriétés de A._, B._, C._, D._ et E._, a entrepris sans autorisation de ces derniers des travaux sur ces parcelles, plus particulièrement des travaux de débroussaillage et de défrichage pour quelque 23 tonnes de déchets verts, avant la conclusion des actes de vente, qui n'a finalement pas eu lieu. Ces travaux ont été effectués par l'intermédiaire de la société H._ Sàrl, dont X._ est le gérant. Lors de ces travaux, plusieurs arbres ont été coupés, dont à tout le moins quatre mélèzes et un pin soumis au règlement communal de protection des arbres. C. Contre ce dernier jugement, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut, principalement, à sa libération des chefs de prévention de dommages à la propriété qualifiés et de contravention à la loi sur la protection de la nature, des monuments et des sites et au rejet des conclusions civiles. A titre subsidiaire, il demande l'annulation du jugement attaqué et le renvoi de la cause à la cour cantonale. La cour cantonale et le Ministère public vaudois ont renoncé à formuler des observations. Les intimés ont déposé une réponse et conclu au rejet du recours. Le recourant s'est déterminé sur la réponse des intimés, déterminations qui ont été communiquées aux intimés à titre de renseignements.