Faits : A. Par jugement du 11 octobre 2018 (cause P/-/2015), le Tribunal de police de la République et canton de Genève a acquitté X._ du chef de prévention de diffamation (art. 173 ch. 2 CP), débouté la partie plaignante de ses conclusions civiles et en indemnisation, ainsi que condamné l'État de Genève à verser à X._ une indemnité de 6'142 fr. 30 pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure, le déboutant pour le surplus; les frais ont été laissés à la charge de l'État. Cette autorité a en substance considéré que la divulgation dans la presse par le prévenu de l'arrêt condamnant la partie plaignante pour faux témoignage tendait à informer tout le monde que le premier avait finalement été entendu par la justice et qu'il avait toujours dit la vérité; faute de volonté de nuire, le prévenu devait être admis à pouvoir apporter la preuve de la vérité, ce que la condamnation pénale de la partie plaignante apportait. La partie plaignante a formé appel contre ce jugement, concluant à la condamnation pénale du prévenu, ainsi qu'à l'obtention d'une indemnité pour tort moral de 1'000 fr. à la charge de X._ et au remboursement de ses frais de défense de première instance, ainsi que de ceux de la procédure d'appel. X._ s'étant opposé à une procédure écrite, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a convoqué des débats pour le 11 mars 2019; selon les mandats du 8 janvier 2019, la cour appelée à trancher les débats était composée des Juges C._, président et juge suppléant, D._ et Gaëlle Van Hove, le greffier-juriste étant alors encore à déterminer. B. Par requête du 21 janvier 2019, X._ a demandé la récusation de ces trois magistrats (cause PS/4/2019). A l'appui de sa demande, il a expliqué que la présente affaire ne pouvait pas être dissociée de celle relative à la "saga" du Café A._, qui remontait, sur le plan judiciaire à l'année 2006; dans la cause P/-/2015, le tribunal de première instance avait considéré l'ensemble du dossier pour exclure une volonté de nuire de la part de X._, estimant que sa réaction était légitime à la suite de décisions prises à tort dès 2006, qui étaient donc des erreurs judiciaires. Le requérant a ensuite rappelé que la Juge Gaëlle Van Hove - alors Procureure - était à l'origine du classement à mauvais escient dans la procédure P/-/2006, ce qui était à l'origine de la vente de son restaurant à un tiers, sans que lui-même n'ait touché le moindre centime; il en allait de même pour le classement dans la cause P/-/2011 - en lien avec la restitution d'un véhicule pris en leasing par le restaurant - où elle avait d'entrée de cause, par téléphone, préjugé par ces mots "Justice est passée". Selon le requérant, dans la cause P/-/2010, la Juge Gaëlle Van Hove avait également plaidé contre lui dans le cadre d'un recours formé contre l'opposition déposée contre une ordonnance pénale notifiée à une adresse que le Ministère public savait ne plus être la sienne; l'autorité de recours avait retenu qu'il y avait une erreur judiciaire criante et un déni de justice, mais malgré cela, la magistrate ne lui avait octroyé aucun dépens. Le requérant a encore allégué que la magistrate paraissait avoir un intérêt personnel à mettre à néant la décision d'un juge ayant considéré que le classement du 21 juillet 2006 était une erreur judiciaire; Gaëlle Van Hove semblait aussi prévenue dès lors qu'elle avait été active en substance à un autre titre dans une même cause. Quant aux deux autres juges, le requérant relevait qu'ils étaient intervenus à moment donné ou à un autre dans le cadre de la "saga". Invité à se déterminer, C._ a conclu au rejet de la demande, confirmant avoir participé - en tant que membre de la Chambre d'appel pénal et de révision - à des procédures relatives au requérant, mais qu'une connaissance du contexte général de la "saga" ne constituait pas une cause de récusation. D._ s'est déportée pour d'autres motifs. Quant à Gaëlle Van Hove, elle a expliqué qu'en sa qualité de substitute du Procureur général (du 1er juin 2002 au 31 décembre 2006), puis de Procureure (du 1er janvier 2011 au 31 décembre 2018), elle avait eu à traiter plusieurs procédures concernant l'affaire du "Café A._"; tel n'était pas le cas lorsqu'elle était Juge d'instruction (du 1er janvier 2007 au 31 décembre 2010). Elle a indiqué qu'elle avait été amenée à classer différentes procédures auxquelles X._ était partie (P/-/2006 [juillet 2006], P1/-/2006 [août 2006], P/-/2008 [septembre 2013], P/-/2011 [avril 2014] et P/-/2010 [mars 2015]). Elle a expliqué que la cause P/-/2016 - relative à une demande de reprise des procédures P/-/2006 et P/-/2011 (voir arrêts 6B_1017/2017 du 7 novembre 2017 et 6F_24/2017 du 12 décembre 2017) - avait été traitée par un autre membre du Ministère public et a indiqué n'être jamais intervenue dans la procédure P/-/2015, cause qui dérivait de celle P1/-/2008 vu la diffusion par voie de presse d'un arrêt du Tribunal fédéral rendu dans cette affaire (arrêt 6B_785/2014 du 16 février 2015). La magistrate a relevé avoir fait l'objet de précédentes demandes de récusation de la part de X._, dont aucune n'avait abouti; en particulier, il lui avait été reproché, dans le cadre de la cause P/-/2008, les propos tenus lors d'une conversation téléphonique, grief qui avait été considéré sans fondement, ne pouvant notamment pas être déduit d'une simple phrase prononcée au cours d'un entretien téléphonique que le magistrat avait émis un pré-jugement. Relevant l'absence de motifs de récusation, elle s'en est toutefois remise à justice. Le Ministère public genevois a également conclu au rejet de ces requêtes. Le requérant s'est déterminé, indiquant que ses demandes visant le Président C._ et la Juge D._ n'avaient plus lieu d'être. Relevant l'absence de toute inimitié à l'encontre de Gaëlle Van Hove, X._ a encore invoqué des erreurs graves, lourdes et répétées de la part de celle-ci (en particulier une violation du droit d'être entendu, la phrase prononcée durant l'entretien téléphonique ["De toute façon justice est passée"], le recours "contraint" contre une ordonnance pénale, le refus d'allouer une participation à ses frais de défense et l'accès donné sans droit à la procédure aux parties adverses). Le 28 février 2019, la Chambre pénale d'appel et de révision a pris acte de la déportation de la Juge D._ et du retrait de la demande de récusation formée contre le Président C._ par X._. Elle a ensuite rejeté la requête déposée contre la Juge Gaëlle Van Hove dans les limites de sa recevabilité, puis a mis les frais de procédure, fixés à 1'500 fr., à la charge du requérant. C. Par acte du 4 avril 2019, X._ forme un recours en matière pénale contre cet arrêt, concluant à son annulation et à la récusation de la magistrate Gaëlle Van Hove, respectivement au renvoi de la cause à l'autorité précédente pour qu'elle procède à ladite récusation. Invitée à se déterminer, la juridiction cantonale n'a pas formulé d'observations. Quant à la magistrate intimée, elle s'en est rapportée à justice, contestant cependant notamment toute faute ou volonté de nuire; pour le surplus, elle s'est référée à ses précédentes déterminations. Le 4 juin 2019, le recourant a persisté dans ses conclusions.