Faits:
A. Le 21 décembre 2010, X._ a déposé une plainte pénale pour calomnie, diffamation et faux dans les titres contre Y._ et la Gérance Immobilière Municipale de la ville de Genève (GIM). Il reprochait au premier d'avoir déclaré, dans une lettre du 1er septembre 2010, que X._, ses grands enfants et les copains de ces derniers auraient commis des déprédations dans l'immeuble qu'ils avaient habité de janvier 2002 à juillet 2010. La GIM aurait repris ces accusations dans une lettre du 14 septembre 2010, confirmant une décision de ne pas les reloger dans l'immeuble après rénovation de celui-ci.
Par ordonnance du 20 mai 2011, le Ministère public genevois a refusé d'entrer en matière sur la plainte. Ni les propos tenus par Y._, ni le refus d'attribuer l'appartement ne constituaient des atteintes à l'honneur punissables.
Par arrêt du 1er juillet 2011, la Chambre pénale de recours de la Cour de justice genevoise a rejeté le recours formé par X._. Les termes utilisés par Y._ et repris par la GIM étaient conformes à la réalité, et ne concernaient pas directement le recourant. L'usage par la GIM d'une citation partielle ou imprécise ne constituait pas un faux dans les titres.
B. Par acte du 1er septembre 2011, X._ forme un recours en matière pénale par lequel il demande au Tribunal fédéral d'annuler l'arrêt cantonal et d'inviter le Ministère public à donner suite à la plainte, subsidiairement de renvoyer la cause à la Cour de justice pour nouvelle décision dans le sens des considérants.
La cour cantonale se réfère à son arrêt, sans observations.
Y._ s'est déterminé dans le sens du rejet du recours. La GIM conclut à l'irrecevabilité du recours en tant qu'il est dirigé contre la ville de Genève, et à son rejet sur le fond.
Le recourant a déposé des observations complémentaires le 25 octobre 2011.

Considérant en droit:
1. La décision attaquée confirme le refus d'entrer en matière sur une plainte pénale, prononcé par le Ministère public en application de l'<ref-law>. Il s'agit d'une décision rendue en matière pénale au sens de l'<ref-law>. L'arrêt attaqué a un caractère final (<ref-law>) et émane de l'autorité cantonale de dernière instance (<ref-law>). Le recourant a agi en temps utile (<ref-law>).
1.1 Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>. Selon l'<ref-law>, il incombe notamment au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir lorsque ces faits ne ressortent pas à l'évidence de la décision attaquée ou du dossier de la cause (cf. <ref-ruling> consid. 1 p. 356, 249 consid. 1.1 p. 251).
1.2 Le recourant explique qu'il entend obtenir une indemnité pour tort moral de 5'000 fr. de la part des auteurs présumés des infractions. On peut certes s'interroger sur la nature de telles prétentions à l'égard de la ville de Genève (cf. <ref-ruling>; arrêt 6B_869/2010 du 16 septembre 2011). La question ne doit toutefois pas être résolue dès lors que le recourant entend également agir contre une personne privée et qu'il donne des indications suffisantes sur la nature et le montant de ses prétentions. Il y a dès lors lieu d'entrer en matière.
2. Le recourant se plaint d'établissement inexact des faits. Il conteste avoir vécu pendant trois ans sans bail dans les mêmes locaux, ainsi que le caractère sommaire de l'état des lieux dressé à sa sortie. Il relève ensuite que les opposants à son retour dans l'immeuble ne seraient pas ses voisins, mais uniquement Y._. L'arrêt attaqué serait enfin inexact s'agissant de la date à laquelle le recourant aurait pris connaissance de la lettre du précité.
2.1 En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire (pour une définition de l'arbitraire, cf. <ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 3.1 p. 265 s.) lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2a p. 41). Selon l'<ref-law>, la correction du vice doit en outre être susceptible d'influer sur le sort de la cause.
2.2 En l'occurrence, le refus d'entrer en matière sur la plainte ne repose sur aucun des faits prétendument inexacts retenus dans l'arrêt cantonal, mais exclusivement sur le caractère attentatoire à l'honneur des termes figurant dans les lettres des 1er et 14 septembre 2010. Les faits évoqués par le recourant sont donc sans pertinence sur l'issue de la cause. Le recourant le reconnaît lui-même s'agissant de l'existence d'un bail, et il en va de même à propos de l'état des lieux de sortie, de l'état général du bâtiment, de l'identité des opposants à son retour ainsi que de la date de prise de connaissance de la lettre du 1er septembre 2011. Faute de pertinence au sens de l'<ref-law>, le grief doit être écarté.
3. Le recourant se plaint ensuite d'une violation du droit fédéral. Il estime que les "déprédations" évoquées dans les lettres litigieuses étaient clairement imputées au recourant, ses fils ou leurs amis, alors qu'aucun dégât ne leur avait été reproché. Les déprédations en question avaient été commises en réalité par les délinquants sans papiers qui, de notoriété publique, fréquentaient les lieux.
3.1 Selon l'<ref-law>, le recours doit comporter une motivation exposant succinctement en quoi l'acte attaqué viole le droit. Le recourant doit donc discuter, au moins de manière succincte, les considérants de la décision attaquée (<ref-ruling> consid. 2).
3.2 L'<ref-law> permet au ministère public de prononcer une ordonnance de non-entrée en matière lorsqu'il ressort de la dénonciation ou du rapport de police, notamment (let. a) que les éléments constitutifs de l'infraction ne sont manifestement pas réunis. En d'autres termes, il doit être évident que les faits dénoncés ne tombent pas sous le coup de la loi pénale, ce qui est notamment le cas lors de contestations purement civiles (Esther Omlin, Commentaire Bâlois CPP 2010, n° 9 ad art. 310). Un refus d'entrer en matière n'est possible que lorsque la situation est claire, en fait et en droit. (Niklaus Schmid, Praxiskommentar StPO 2009, n° 2 ad art. 309). En cas de doutes, ou lorsque l'acte dénoncé a eu des incidences graves (lésions corporelles graves par exemple), une instruction doit en principe être ouverte, quand bien même elle devrait ultérieurement s'achever par un classement (arrêt 1B_365/2011 du 30 septembre 2011).
3.3 La cour cantonale a considéré que le terme "déprédations" devait être replacé dans son contexte. Il en ressortait que les auteurs des dégâts n'étaient pas clairement identifiés, mais qu'il pouvait s'agir des fils du recourant, et plus particulièrement de leurs amis. Le recourant lui-même n'était donc pas concerné et ne pouvait se plaindre d'une infraction portée à l'honneur de tierces personnes.
L'argumentation du recourant consiste à affirmer que les dégâts auraient été causés par d'autres personnes étrangères à l'immeuble. On ne trouve toutefois aucun grief propre à remettre en cause le fait que le recourant n'était pas directement concerné par les allégations des personnes mises en cause, celles-ci se rapportant essentiellement à ses enfants ou aux amis de ceux-ci. Sur ce point, le recours n'apparaît pas suffisamment motivé au sens de l'<ref-law>, puisque le recourant omet de s'en prendre aux motifs déterminants de l'arrêt cantonal. Au demeurant, outre qu'elles ne précisent pas clairement les auteurs des "déprédations", les lettres litigieuses n'expliquent pas non plus en quoi ces dernières pouvaient consister. Force est de constater que l'auteur de la lettre initiale faisait surtout état de conflits de voisinage, sans accuser le recourant d'une conduite contraire à l'honneur au sens des art. 173 et 174 CP. Dans la mesure où il est recevable, le grief doit donc être écarté.
3.4 Quant à l'infraction de faux dans les titres, elle est écartée par la cour cantonale au motif que la lettre du 14 septembre 2010 ne paraissait pas constituer un titre et que l'amalgame de deux phrases, sans en altérer le sens, ne constituait pas un faux. Faute de toute critique du recourant à cet égard (<ref-law>), il n'y a pas lieu de s'interroger sur le bien-fondé de cette appréciation.
4. Le recours doit par conséquent être rejeté, aux frais du recourant (<ref-law>). Les intimés n'ont pas procédé par avocats et n'ont pas demandé de dépens. Il n'en est donc pas alloué.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant. Il n'est pas alloué de dépens.
3. Le présent arrêt est communiqué aux parties, au Ministère public du canton de Genève et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 6 décembre 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Kurz