Faits : A. Le 28 mai 2010, B.A._ a déposé plainte pénale contre son mari, A.A._; elle lui reprochait d'avoir fait une fausse déclaration en justice dans le cadre de leur procédure de divorce. Au cours de l'instruction, les demandes d'entraide internationale de 2011, 2012 et 2013 adressées à l'Espagne - pays de domicile du prévenu - n'ont pas abouti; l'accès au dossier a également été refusé au prévenu à deux reprises en novembre 2014, au motif qu'il n'avait pas été entendu et que les preuves principales n'avaient pas été encore administrées. Par ordonnance pénale du 16 mars 2015, le Ministère public de l'arrondissement de La Côte, représenté par le Procureur Denis Mathey, a reconnu A.A._ coupable de fausse déclaration en justice et l'a condamné à une peine pécuniaire de quarante-cinq jours-amende, à 100 fr. le jour, avec sursis pendant deux ans, ainsi qu'au paiement d'une amende de 900 fr. Le 20 mars 2015, le prévenu a formé opposition contre cette décision; l'ordonnance pénale ayant été maintenue, le dossier a été transmis au Tribunal de police de l'arrondissement de La Côte. Dans le courrier du 20 mars 2015, A.A._ a également sollicité la récusation du Procureur en charge de son dossier, requête à laquelle le magistrat s'est opposé. Par arrêt du 22 avril 2015, la Chambre des recours pénale du Tribunal cantonal vaudois a déclaré cette demande irrecevable, la considérant comme tardive. B. Par acte du 15 juin 2015, A.A._ forme un recours en matière pénale contre ce jugement. Il conclut à sa réforme en ce sens que sa demande de récusation soit admise et que les actes de procédure effectués par le Procureur Denis Mathey soient annulés. A titre subsidiaire, il requiert le renvoi de la cause pour nouvelle décision au sens des considérants. Le Procureur a conclu au rejet du recours. Quant à la cour cantonale, elle s'est référée à ses considérants. Au vu de l'absence d'élection de domicile du recourant en l'étude de son avocat, ces communications lui ont été adressées directement; dans le délai octroyé, il n'a pas adressé de déterminations supplémentaires.