Faits:
A. Charles Poncet, avocat genevois, a assisté l'Etat libyen dans la crise diplomatique qui l'avait opposé à la Suisse après l'arrestation à Genève, le 15 juillet 2008, de Hannibal Kadhafi; il a aussi formé avec succès, au nom de ce dernier, une action en responsabilité et en protection de la personnalité, notamment contre l'Etat de Genève, en raison de la publication d'une photo d'identification d'Hannibal Kadhafi. Le 20 mars 2011, lors d'une émission télévisée, le Conseiller d'Etat François Longchamp a en substance déclaré que Me Poncet, avocat, officier et ancien Conseiller national, avait trahi son pays, son canton et sa ville. L'autorité indépendante d'examen des plaintes en matière de radio et de télévision (AIEP) a été saisie et a donné raison au plaignant, celui-ci n'ayant pas eu le temps de répondre à l'antenne. Interrogé à propos de cette décision par Sylvain Besson, journaliste au quotidien Le Temps, le Conseiller d'Etat avait confirmé ses déclarations dans l'édition du 18 octobre 2011 en ces termes: "Ces propos étaient parfaitement réfléchis. Et je pense que sept mois après cette émission, la population est plus que jamais persuadée que Charles Poncet est effectivement un traître qui, pour quelques billets de mille, a lancé des procédures contre son pays au moment où des négociations extrêmement délicates étaient en cours pour libérer les otages suisses retenus en Libye". Charles Poncet a répondu dans le quotidien Le Matin du 26 octobre 2011. Il a ensuite vainement demandé à François Longchamp de retirer ses propos. Le 12 janvier 2012, il a déposé plainte pénale pour diffamation contre François Longchamp et Sylvain Besson en raison de l'article du 18 octobre 2011.
B. Par ordonnance du 29 mars 2012, après avoir demandé à François Longchamp et à Sylvain Besson des observations écrites, le Procureur général a refusé d'entrer en matière sur la plainte. L'activité de Me Poncet en tant qu'avocat de l'Etat libyen n'était pas critiquable. Toutefois, les propos de François Longchamp s'inscrivaient dans le cadre de joutes verbales avec une personnalité publique dont la plume aiguisée avait fait la réputation, comme en témoignaient les lignes parues le 26 octobre 2011. Les propos incriminés reprenaient ceux qui avaient été tenus le 20 mars 2011 et que le plaignant n'avait pas dénoncés. Le terme de traître n'avait plus la même intensité que quelques décennies auparavant, le plaignant ayant lui-même déclaré qu'il ne s'en offusquait "pas outre mesure".
Par arrêt du 16 mai 2012, la Chambre pénale de recours de la Cour de justice genevoise a confirmé cette décision. Le fait de recueillir les observations écrites des personnes mises en cause n'empêchait pas le prononcé d'une non-entrée en matière. L'expression "traître à la nation" avait été utilisée une première fois dans Le Matin du 29 août 2009 et avait notoirement trouvé écho dans l'opinion publique; elle avait été reprise par le magistrat lors de l'émission télévisée du 20 mars 2011, sans susciter de plainte de la part de l'intéressé. Celui-ci avait usé de son droit de réponse et, en tant que polémiste et pamphlétaire, devait s'attendre à quelques piques virulentes. Le litige relevait du rapport d'antipathie entre deux personnalités publiques, plutôt que de la défense de l'honneur bafoué.
Par acte du 20 juin 2012, Charles Poncet forme un recours en matière pénale par lequel il demande au Tribunal fédéral d'annuler l'arrêt cantonal et d'ordonner au Ministère public d'entrer en matière sur la plainte, subsidiairement de renvoyer la cause à la Cour de justice pour nouvelle décision.
Le Chambre pénale se réfère à son arrêt. Le Procureur général conclut au rejet du recours.
Considérant en droit:
1. L'arrêt attaqué a été rendu dans le cadre d'une procédure pénale, de sorte que le recours en matière pénale au sens de l'art. 78 LTF est ouvert.
1.1 S'agissant de la confirmation d'une décision de non-entrée en matière, l'arrêt attaqué a un caractère final (art. 90 LTF) et émane de l'autorité cantonale de dernière instance (art. 80 LTF). Le recourant a agi en temps utile (art. 100 al. 1 LTF).
1.2 Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil, telles les prétentions en réparation du dommage et du tort moral au sens des art. 41 ss CO.
1.2.1 Lorsque, comme en l'espèce, le recours est dirigé contre une décision de non-entrée en matière, il n'est pas nécessaire que la partie plaignante ait déjà pris des conclusions civiles (ATF 137 IV 246 consid. 1.3.1). En revanche, elle doit expliquer dans son mémoire quelles prétentions civiles elle entend faire valoir à moins que, compte tenu notamment de la nature de l'infraction alléguée, l'on puisse déduire directement et sans ambiguïté quelles prétentions civiles pourraient être élevées et en quoi la décision attaquée pourrait influencer négativement leur jugement (ATF 137 IV 219 consid. 2.4 p. 222 et les arrêts cités). Cette exigence vaut particulièrement lorsque la partie plaignante, invoquant une atteinte au droit de la personnalité au sens de l'art. 28 CC, pourrait obtenir une indemnité pour tort moral fondée sur l'art. 49 al. 1 CO. Cette disposition prévoit que celui qui subit une atteinte illicite à sa personnalité a droit à une somme d'argent à titre de réparation morale, pour autant que la gravité de l'atteinte le justifie et que l'auteur ne lui ait pas donné satisfaction autrement. N'importe quelle atteinte légère à la réputation professionnelle, économique ou sociale d'une personne ne justifie pas une réparation (ATF 130 III 699 consid. 5.1 p. 704; 125 III 70 consid. 3a p. 75). L'allocation d'une indemnité pour tort moral fondée sur l'art. 49 al. 1 CO suppose en effet que l'atteinte ait une certaine gravité objective et qu'elle ait été ressentie par la victime, subjectivement, comme une souffrance morale suffisamment forte pour qu'il apparaisse légitime qu'une personne, dans ces circonstances, s'adresse au juge pour obtenir réparation (cf. ATF 131 III 26 consid. 12.1 p. 29; arrêts 1B_312/2011 du 21 juin 2011; 1B_119/2011 du 20 avril 2011 consid. 1.2.3 et les arrêts cités).
1.2.2 En l'occurrence, le recourant a déclaré, dans sa plainte avec constitution de partie plaignante, qu'il réclamait aux deux personnes mises en cause le versement de 10'000 fr. à titre de réparation du tort moral. S'il chiffre ainsi ses prétentions, il n'explique pas en revanche que le préjudice moral qu'il prétend avoir subi présenterait une importance suffisante pour justifier une telle indemnisation. En effet, il ressort du dossier que les termes de "traître à la patrie" ont été utilisés plusieurs fois à son encontre, une première fois dans Le Matin du 27 août 2009, sans susciter de réaction, puis lors de l'émission du 20 mars 2011 où ces propos, tenus par le Conseiller d'Etat, ont fait l'objet d'une plainte à l'AIEP mais d'aucune démarche d'ordre civil ou pénal. Enfin, usant de son droit de réponse dans Le Matin du 26 octobre 2011, le recourant a précisé: "Je ne goûte guère le grief, mais comme il émane d'un type qui a tout raté dans sa vie ..., je ne m'en offusque pas outre mesure". Compte tenu de ces réactions et déclarations, il est peu probable que les mêmes termes, répétés dans l'article du 18 octobre 2011, aient provoqué une souffrance morale suffisamment forte pour justifier une indemnisation. La recevabilité du recours - s'agissant des griefs de fond - apparaît ainsi douteuse. La question peut toutefois demeurer indécise car le recours doit de toute façon être rejeté.
2. Invoquant son droit d'être entendu (art. 29 al. 2 Cst. et 107 CPP), le recourant reproche à la cour cantonale d'avoir fondé son raisonnement sur l'existence d'un article du Matin du 27 août 2009 afin de relativiser la portée des propos tenus ultérieurement par le Conseiller d'Etat. Le recourant relève que cette pièce ne figure au dossier que sous la forme d'une référence dans la décision de l'AIEP.
2.1 Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst. et, en procédure pénale, à l'art. 107 CPP, comprend notamment pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (ATF 133 I 270 consid. 3.1 p. 277; 126 I 15 consid. 2a/aa p. 16; 124 I 49 consid. 3a p. 51).
2.2 En l'occurrence, la cour cantonale a tenu pour établi que le recourant avait été qualifié de traître à la nation une première fois dans un article du Matin du 27 août 2009, sans réaction de sa part. L'arrêt attaqué ne tire toutefois aucune conséquence juridique de ce simple fait. Il relativise certes les propos tenus par le Conseiller d'Etat en considérant que la formule litigieuse avait déjà "notoirement" trouvé écho dans l'opinion publique, mais c'est ce dernier élément - non contesté par le recourant - qui fonde une partie du raisonnement de la cour cantonale. Or, en tant que fait notoire, celui-ci n'avait pas à reposer sur un élément particulier du dossier pénal. En outre, comme le relève le recourant, sa plainte concerne exclusivement les propos publiés le 18 octobre 2011, qui devraient être considérés pour eux-mêmes, sans référence à l'article publié précédemment. Pour sa part, l'arrêt attaqué prend en compte, d'une part, les réactions du recourant aux déclarations du Conseiller d'Etat et, d'autre part, les relations personnelles tendues entre les deux protagonistes. Dans ces conditions, l'existence d'un article de presse paru plus de deux ans auparavant, apparaissait dénuée de pertinence. L'absence de cette pièce au dossier ne viole dès lors pas le droit d'être entendu.
3. Le recourant relève qu'à teneur de l'art. 310 al. 1 CPP, une ordonnance de non-entrée en matière doit être rendue immédiatement. Ce dernier terme ne se limiterait pas à un simple rappel du principe de célérité (qui figure déjà à l'art. 5 CPP), mais signifierait qu'aucun acte d'instruction ne peut être entrepris avant le prononcé d'une telle décision. La cour cantonale ne pouvait considérer que les observations demandées aux deux personnes mises en cause équivalaient à une audition par la police, car une telle audition serait elle aussi exclue tant qu'une instruction n'a pas été ouverte. L'art. 309 al. 2 CPP ne permettrait que de simples vérifications limitées, en cas d'atteinte à l'honneur, à la teneur des propos litigieux. En l'occurrence, ces propos étaient d'ores et déjà établis. Ayant procédé à des actes d'instruction supplémentaires au sens des art. 299 al. 2 et 311 al. 1 CPP, le Ministère public ne pouvait plus refuser d'entrer en matière.
3.1 Selon l'art. 309 CPP, le ministère public ouvre une instruction, notamment, lorsqu'il ressort du rapport de police, des dénonciations ou de ses propres constatations des soupçons suffisants laissant présumer qu'une infraction a été commise (let. a). Il peut renvoyer à la police, pour complément d'enquête, les rapports et les dénonciations qui n'établissent pas clairement les soupçons retenus (al. 2). Il renonce à ouvrir une instruction lorsqu'il rend immédiatement une ordonnance de non-entrée en matière ou une ordonnance pénale (al. 4).
Une ordonnance de non-entrée en matière, au sens de l'art. 310 CPP, est rendue immédiatement par le ministère public lorsqu'il apparaît notamment, à réception de la plainte ou après une procédure préliminaire limitée aux investigations de la police (art. 300 al. 1 et 306 s. CPP), que les éléments constitutifs de l'infraction ou les conditions à l'ouverture de l'action pénale ne sont manifestement pas réunis (al. 1 let. a), qu'il existe des empêchements de procéder (let. b) ou qu'il y a lieu de renoncer à l'ouverture d'une poursuite pénale pour des motifs d'opportunité (let. c). Le ministère public ne peut donc pas rendre une telle ordonnance après avoir ouvert une instruction au sens de l'art. 309 CPP (CORNU, Commentaire romand CPP, n° 2 ad art. 310).
3.2 Contrairement à ce que soutient le recourant, le ministère public peut procéder à certaines vérifications avant de refuser d'entrer en matière. Il peut demander des compléments d'enquête à la police, non seulement lorsqu'il s'agit de compléter un précédent rapport au sens de l'art. 307 CPP, mais aussi lorsque la dénonciation elle-même apparaît insuffisante (arrêt 1B_67/2012 du 29 mai 2012; CORNU, op. cit. n° 20 ad art. 309). Il ressort également de l'art. 309 al. 1 let. a CPP que le ministère public peut procéder à ses propres constatations. Cela comprend le droit de consulter les fichiers, dossiers et renseignements disponibles. Il en va de même lorsque le ministère public demande à la personne mise en cause une simple prise de position. Il ne peut en revanche ordonner des mesures de contrainte sans ouvrir une instruction (art. 309 al. 1 let. b CPP).
3.3 En l'espèce, aucune décision formelle d'ouverture d'une instruction n'a été prise par le Ministère public avec la mention des prévenus et des infractions qui leur sont imputées, comme le prévoit l'art. 309 al. 3 CPP. Après réception de la plainte du 12 janvier 2012, complétée le 10 février 2012, Le Procureur s'est contenté d'inviter le journaliste et le Conseiller d'Etat, le 16 février suivant, à présenter leurs "observations détaillées" dans un délai d'un mois. Cette invitation, expressément prévue à l'art. 145 CPP, ne saurait en l'occurrence être assimilée à une mesure de contrainte: les intéressés n'étaient pas obligés de déposer (THORMANN, Commentaire romand CPP, n° 5 ad. art. 145) et le Procureur n'a pas indiqué qu'à défaut de réponse, un mandat de comparution (art. 201 CPP) serait décerné. Les intéressés n'ont pas non plus été rendus attentifs à leur droits, comme l'exige l'art. 143 al. 1 CPP en cas d'audition. Le dépôt d'observations ne peut, dans ces circonstances, être assimilé à une audition au sens des art. 142, 157 ou 178 CPP.
La cour cantonale pouvait dès lors considérer que la procédure n'avait pas dépassé le stade des premières investigations, ce qui permettait au Ministère public de rendre une ordonnance de non-entrée en matière. Le grief doit être écarté. Il en va de même du grief relatif à l'art. 318 CPP (droit du plaignant de présenter des réquisitions), cette disposition ne s'appliquant qu'à l'issue d'une instruction proprement dite.
4. Invoquant les art. 310 al. 1 CPP et 173 CP, le recourant conteste la décision de non-entrée en matière. Il relève qu'une telle décision ne peut être prise qu'en cas de situation claire, en fait et en droit. L'accusation de traîtrise serait objectivement propre à faire apparaître comme méprisable la personne visée, comme l'a reconnu l'AIEP dans sa décision. Les propos publiés le 18 octobre 2011 devaient être considérés pour eux-mêmes, sans référence à l'article paru deux ans auparavant. L'absence de réaction du recourant durant une certaine période, de même que son activité de polémiste, n'enlèveraient rien au caractère attentatoire à l'honneur des propos incriminés.
4.1 Le principe "in dubio pro duriore" découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 2 CPP en relation avec les art. 319 al. 1 et 324 CPP; ATF 138 IV 86 consid. 4.2 p. 91). Il signifie qu'en principe, un classement ou une non-entrée en matière ne peuvent être prononcés par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (ATF 138 IV 86 consid. 4.1.2 p. 91; 186 consid. 4.1 p. 190; 137 IV 285 consid. 2.5 p. 288).
4.2 Pour apprécier si une déclaration est attentatoire à l'honneur et donc constitutive d'une diffamation au sens de l'art. 173 CP, il faut se fonder non pas sur le sens que lui donne la personne visée, mais sur une interprétation objective selon la signification qu'un destinataire non prévenu doit, dans les circonstances d'espèce, lui attribuer (ATF 133 IV 308 consid. 8.5.1 p. 312). Selon la jurisprudence, un texte doit être analysé non seulement en fonction des expressions utilisées, prises séparément, mais aussi selon le sens général qui se dégage du texte dans son ensemble. Dans la discussion politique, l'atteinte à l'honneur punissable ne doit être admise qu'avec retenue et, en cas de doute, niée. La liberté d'expression indispensable à la démocratie implique en effet que les acteurs de la lutte politique acceptent de s'exposer à une critique publique, parfois même violente, de leurs opinions. Il ne suffit ainsi pas d'abaisser une personne dans les qualités politiques qu'elle croit avoir (ATF 137 IV 313 consid. 2.1.4 p. 316). La critique ou l'attaque porte en revanche atteinte à l'honneur protégé par le droit pénal si, sur le fond ou dans la forme, elle ne se limite pas à rabaisser les qualités de l'homme politique et la valeur de son action, mais est également propre à l'exposer au mépris en tant qu'être humain (ATF 137 IV 313 consid. 2.1.4 p. 316 s.; 128 IV 53 consid. 1a p. 58 s.; également ATF 131 IV 23 consid. 2.1 p. 26).
4.3 Les considérations qui précèdent doivent s'appliquer également lorsque la personne faisant l'objet des déclarations litigieuses, sans être visée en tant que politicien, se livre régulièrement et publiquement à des critiques acerbes dans les médias. Personnalité connue pour son humour caustique, le recourant est avocat et ancien Conseiller national; il s'exprime régulièrement et publiquement par le biais d'interviews, de chroniques ou de pamphlets. Polémiste notoire et défenseur convaincu de la liberté d'expression, le recourant s'expose naturellement à la critique publique, et doit s'attendre à des réactions en des termes plus acerbes que n'importe quel citoyen. Dans ces circonstances, une atteinte à l'honneur punissable ne doit être admise qu'avec retenue et, en cas de doute, niée (ATF 137 IV 313 consid. 2.1.4).
4.4 Si, comme l'a retenu le Procureur, l'expression "traître à la patrie" aurait perdu de son intensité durant les dernières décennies et aurait été employée récemment en politique sans susciter de réaction particulière, l'utilisation du terme "traître" peut néanmoins toujours constituer une atteinte à l'honneur, pour autant qu'elle consiste en une allégation portant sur des faits concrets (ATF 118 IV 153 concernant l'accusation d'avoir préparé un putsch; 103 IV 161 concernant l'accusation d'agir à l'encontre des intérêts public).
En l'occurrence, selon l'article du 18 octobre 2011, le Conseiller d'Etat a confirmé les propos tenus lors de l'émission du 20 mars 2011, lesquels n'avaient pas fait l'objet d'une plainte pénale. Il ajoutait cependant: "Ces propos étaient parfaitement réfléchis. Et je pense que sept mois après cette émission, la population genevoise est plus que jamais persuadée que Charles Poncet est effectivement un traître qui, pour quelques billets de mille, a lancé des procédures contre son pays au moment où des négociations extrêmement délicates étaient en cours pour libérer les otages suisses retenus en Libye". Les interventions judiciaires et extrajudiciaires du recourant en faveur de la Libye et de certains de ses ressortissants sont connues et non contestées par les parties. Le recourant a en particulier représenté Hannibal Kadhafi dans le cadre d'une action en responsabilité dirigée notamment contre l'Etat de Genève, en raison de la publication dans la presse d'une photographie de l'identité judiciaire. Il a également représenté l'Etat libyen dans la négociation destinée à la mise en oeuvre d'un tribunal arbitral international chargé de statuer sur le différend opposant les deux Etats.
Les propos litigieux ne portent dès lors nullement sur la révélation ou la mise en avant de faits précis, mais sur un jugement de valeur attaché à ceux-ci; cela ressort clairement des termes employés ("je pense... que la population genevoise est plus que jamais persuadée que..."). Il n'est évidemment pas reproché au recourant un acte de haute trahison ou tout autre délit contre l'Etat. Le Conseiller d'Etat a simplement voulu exprimer le sentiment selon lequel l'attitude du recourant, en particulier ses déclarations publiques, auraient pu nuire aux négociations délicates entre la Libye et la Suisse. L'accusation de traître ne devait dès lors pas être prise au pied de la lettre, mais comme l'expression d'un jugement de valeur. Or, selon la jurisprudence constante, un tel jugement, présenté comme tel, n'est pas considéré comme une diffamation (ATF 137 IV 313 consid. 2.1.2 p. 315; 128 IV 53 consid. 1/f/aa p. 61).
Au demeurant, compte tenu de la gravité de la crise survenue entre les deux Etats (la Libye ayant en particulier adopté de nombreuses mesures de rétorsion et retenu deux ressortissants suisses) et du rôle médiatisé que le recourant a choisi d'assumer, l'expression utilisée, même excessive, fait partie des critiques auxquelles celui-ci pouvait s'attendre, sans qu'elle soit propre à l'exposer au mépris en tant qu'être humain (cf. ATF 137 IV 313 consid. 2.1.4 p. 316 s.; 128 IV 53 consid. 1a p. 58).
4.5 La cour cantonale pouvait dès lors, à l'instar du Ministère public, considérer que les chances d'acquittement du Conseiller d'Etat et du journaliste étaient d'emblée supérieures à la probabilité d'une condamnation. La décision de non entrée en matière apparaît dès lors justifiée.
5. Le recours doit par conséquent être rejeté, dans la mesure où il est recevable. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge du recourant qui succombe. Il n'est pas alloué de dépens, les deux personnes mises en cause n'ayant pas été invitées à procéder.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr. sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la mandataire du recourant, au Ministère public et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 13 mai 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Kurz