Faits: A. Dans le cadre de deux procédures pénales ouvertes à Genève pour abus de confiance, A._, inculpé dans l'une des procédures, a requis le 22 avril 2009 la récusation du Juge d'instruction chargé de la cause. Il lui reprochait de faire preuve d'acharnement en poursuivant l'instruction malgré le caractère civil de la plainte et l'existence de nombreux éléments à décharge. Il se plaignait par ailleurs d'avoir été convoqué en qualité de témoin "à titre de renseignement", le 6 avril 2009; cette convocation avait été envoyée à une mauvaise adresse et portait atteinte aux droits de défense. Le Juge d'instruction avait ensuite appelé l'inculpé, le 21 avril 2009, sur un téléphone portable et l'aurait menacé pour qu'il se présente à l'audience. Par la suite, A._ s'est encore plaint d'avoir été convoqué par le Juge d'instruction alors même que sa récusation avait été demandée. B. Par décision du 14 juillet 2009, le Collège des Juges d'instruction a rejeté la demande de récusation. Tout comme l'inculpation, la poursuite de l'instruction ne pouvait donner lieu à récusation. Le refus de joindre les deux procédures n'était pas non plus un indice de prévention. En convoquant l'intéressé comme témoin à titre de renseignement, tout en réservant une inculpation, le juge avait fait preuve de clarté et de transparence. Les convocations n'étaient pas entachées d'irrégularités. L'appel téléphonique n'était ni menaçant, ni préjudiciable pour le recourant. La convocation en qualité de témoin, dans la procédure parallèle, se justifiait par l'absence d'inculpation dans cette procédure. C. Par acte du 17 août 2009, A._ forme un recours en matière pénale. Il conclut à l'annulation de la décision du 14 juillet 2009 et au renvoi de la cause à l'instance cantonale pour nouvelle décision, si le Tribunal ne peut statuer lui-même. Il demande l'effet suspensif. Cette dernière requête a été rejetée par ordonnance présidentielle du 2 septembre 2009, le Juge d'instruction ayant fait savoir qu'il ne procéderait pas jusqu'à droit connu sur le présent recours. Le Collège des Juges d'instruction s'est déterminé dans le sens du rejet du recours. Le Juge d'instruction conclut au rejet du recours.