Faits : A. Par jugement du 17 mars 2016, le Tribunal de police de l'arrondissement de La Côte a notamment condamné X._ à une peine pécuniaire avec sursis de 60 jours-amende et à une amende de 400 fr. pour actes d'ordre sexuel avec des enfants. B. Par jugement du 23 août 2016, la Cour d'appel pénale a rejeté le recours interjeté par X._. Elle a retenu les faits suivants. Au mois de janvier 2014, vers 22 heures, dans le quartier de la rue B._ à C._, X._, né en 1966, a importuné A._, née en 1999, qui promenait ses chiens. Il lui a en particulier touché les fesses, les seins et l'entrejambe par-dessus les vêtements et a essayé de l'embrasser. X._ est le concierge de l'immeuble dans lequel vivent A._ et sa famille. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 23 août 2016. Il conclut, principalement, à l'annulation de sa condamnation et de la peine infligée ainsi que des indemnités qu'il a été condamné à verser. Il conclut également à l'octroi d'une indemnité pour tort moral de 6'000 fr. en application de l'art. 429 CPP. Subsidiairement, il conclut à l'annulation du jugement du 23 août 2016 et au renvoi de la cause à l'instance précédente.