Faits : A. Par jugement du 22 mars 2018, le Tribunal de police de la République et canton de Genève a acquitté X._ des chefs de lésions corporelles simples intentionnelles ou par négligence, ainsi que de séquestration et de contrainte, mais l'a reconnu coupable de voies de fait et de contrainte, le condamnant à une peine pécuniaire de 15 jours-amende à 140 fr. le jour, avec sursis durant trois ans ainsi qu'à une amende de 1'000 fr., la peine privative de liberté de substitution étant de 10 jours. B. Par arrêt du 25 janvier 2019, la Chambre pénale d'appel et de révision de la Cour de justice genevoise, statuant sur appels de X._ et de A._ ainsi que sur l'appel joint formé par le ministère public contre ce jugement, a rejeté l'appel joint du ministère public et l'appel de A._. Elle a en revanche partiellement admis l'appel formé par X._ en l'acquittant du chef de contrainte et en le condamnant pour voies de fait à une amende de 1'000 francs. En bref, les faits suivants sont reprochés à X._. Dans le contexte d'une dispute conjugale survenue le 14 juillet 2017 dans le logement familial sis rue B._ à C._, X._ a, entre 23h00 et 23h07, enlevé à trois reprises le téléphone portable des mains de A._, coupant les appels émis à la police, pour le lui rendre aussitôt. A raison de ces faits, X._ a été reconnu coupable de voies de fait. Dans le même laps de temps, dans la cuisine, X._ a de ses mains dirigé la tête de A._, contre sa volonté, vers un robinet du lavabo de la cuisine afin qu'elle se rince le visage à la suite d'un saignement de nez. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 25 janvier 2019. Il conclut, avec suite de frais et dépens, principalement à son acquittement du chef de voies de fait, à la condamnation de l'Etat de Genève à l'intégralité des frais de la procédure de première instance et d'appel et au paiement du solde de ses frais de défense de 4'968 fr. 65. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la Chambre pénale d'appel et de révision pour nouvelle décision dans le sens des considérants. D. Invités à se déterminer, le ministère public a conclu au rejet du recours, la cour cantonale a indiqué qu'elle n'avait pas d'observations à déposer, tandis que A._ a conclu au rejet du recours et à l'octroi d'une indemnité équitable en couverture de ses frais de défense. Les observations du ministère public et de A._ ont été communiquées à X._, qui a répliqué et persisté dans ses conclusions. Dite réplique a été transmise au ministère public, à A._ et à la cour cantonale pour information.