Faits:
A. Le 28 mars 2008, A._ a déposé une plainte pénale contre B._ pour calomnie, subsidiairement diffamation, lui reprochant d'avoir proféré de fausses accusations dans le cadre d'un procès pénal. Rappelant qu'il avait déjà récusé l'ensemble des autorités judiciaires fribourgeoises, il refusait que cette plainte soit instruite par un juge d'instruction ordinaire. La cause a été attribuée au Juge d'instruction Jean-Luc Mooser, qui a convoqué les parties, le 11 juillet, à une audience du 10 septembre 2008.
Par lettre du 21 juillet 2008, A._ a demandé, auprès du Tribunal cantonal fribourgeois, la récusation du Juge d'instruction Mooser, du Juge spécial Raemy et tous les magistrats instructeurs fribourgeois, en se référant à une décision du 8 mai 2001 portant sur la récusation de l'ensemble des juges d'instruction. Cette requête a été transmise au Juge d'instruction Mooser, qui l'a remise le 23 juillet 2008 au Juge d'instruction Julmy, Vice-président de l'Office des juges d'instruction fribourgeois.
Dans ses observations du 23 juillet 2008, le Juge d'instruction Mooser a conclu au rejet de la demande de récusation. Le 18 août 2008, A._ s'est lui aussi déterminé en contestant la compétence du Vice-président pour statuer sur une demande de récusation visant l'un de ses collègues; il reprenait par ailleurs ses griefs à l'encontre du Juge Mooser.
B. Par décision du 25 août 2008, le Vice-président s'est déclaré compétent pour statuer sur la requête de récusation: l'art. 57 al. 1 let. d de la loi d'organisation judiciaire (OJ/FR) prévoyait expressément que le suppléant du Président de l'Office des juges d'instruction statuait sur les demandes de récusation dirigées contre ce dernier. L'intéressé n'expliquait pas en quoi ses relations professionnelles avec le magistrat visé pouvaient nuire à son impartialité. Sur le fond, il a rejeté la demande de récusation en considérant que B._, Conseiller d'Etat et Directeur de la sécurité et de la justice jusqu'à fin 2006, n'était pas le supérieur hiérarchique du Juge Mooser; celui-ci était soumis à la surveillance du Conseil de la magistrature ou du Tribunal cantonal. Les précédentes récusations étaient motivées par les liens étroits entre les magistrats et les autres parties à la procédure, ce qui n'était pas le cas en l'occurrence; ces décisions n'impliquaient donc pas la récusation définitive des juges d'instruction.
C. Par acte du 3 septembre 2008, A._ forme un recours contre la décision du 25 août 2008. II en demande l'annulation, ainsi que la récusation en bloc de tous les juges d'instruction fribourgeois dans le cadre de sa plainte contre B._; subsidiairement, il demande l'ouverture d'une instruction pénale contre un ancien préfet ainsi que contre le Juge Julmy. II a par la suite demandé l'assistance judiciaire ainsi que des mesures provisionnelles tendant à suspendre l'instruction menée par le Juge Mooser. Les mesures provisionnelles ont été refusées par ordonnance du 23 septembre 2008.
Le Vice-Président conclut en substance au rejet du recours. Le Juge Mooser se réfère aux observations déposées devant l'instance précédente. Le recourant s'est à nouveau déterminé, le 15 octobre 2008.
Précédemment, le 1er septembre 2008, le recourant avait adressé au Tribunal fédéral une lettre - à laquelle était joint son recours du 3 septembre 2008 - dans laquelle il demandait l'ouverture d'une procédure pénale contre un avocat genevois, pour des faits sans rapport avec la présente cause. Cette lettre, également adressée au Département fédéral de justice et police, a été transmise au Ministère public de la Confédération qui, le 23 septembre 2008, a refusé de suivre, faute de compétence fédérale dans ce domaine.
Considérant en droit:
1. Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un juge pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le plaignant et auteur de la demande de récusation a qualité pour agir (art. 81 al. 1 LTF). Le recourant a agi dans le délai de trente jours prescrit à l'art. 100 al. 1 LTF. La décision attaquée est rendue en dernière instance cantonale, puisque le droit fribourgeois ne prévoit pas encore d'instance de recours au sens de l'art. 80 al. 2 LTF; cela est admissible, tant que le délai prévu à l'art. 130 al. 3 LTF n'est pas échu. Les conclusions tendant à l'annulation de la décision attaquée et à l'admission des conclusions formées devant l'instance précédente sont recevables. En revanche, les conclusions tendant à l'ouverture d'une procédure pénale vont au-delà de l'objet du litige et des compétences de la cour de céans et sont, partant, irrecevables.
2. Le recourant reproche au Vice-président d'avoir considéré que seule sa compétence était contestée par le recourant, alors qu'en réalité, celui-ci mettait en cause son impartialité pour statuer sur la récusation d'un collègue.
2.1 Même si le dispositif de la décision attaquée évoque une question de compétence, il ressort des considérants que le Vice-président a bien traité le grief comme une demande de récusation à son encontre; relevant que la loi le chargeait de statuer sur une requête visant le Président de l'Office, il a ensuite précisé qu'il ne voyait pas en quoi ses relations professionnelles avec le Juge d'instruction Mooser l'empêcheraient de rendre sa décision en toute objectivité et en toute impartialité; il a encore considéré que le recourant "n'étayait aucunement ses craintes précises sur ce point". On ne saurait dès lors reprocher à l'autorité intimée d'avoir mal interprété le sens de la démarche du recourant.
2.2 Selon la jurisprudence relative à l'art. 30 al. 1 Cst., le juge dont la récusation est demandée ne devrait en principe pas participer à la décision à rendre à ce sujet (ATF 122 Il 471 consid. 2b p. 476; 114 la 278; 105 lb 301 consid. 1b p. 303). La jurisprudence admet toutefois une exception à ce principe: une autorité dont la récusation est demandée en bloc peut écarter elle-même la requête lorsque celle-ci est abusive ou manifestement mal fondée (ATF 129 III 445 consid. 4.2.2 p. 646 et les arrêts cités; 114 la 278 consid. 1 p. 279; 105 lb 301 consid. 1c et d p. 304). Le caractère abusif ou manifestement infondé de la demande de récusation ne doit pas être admis trop facilement, car il s'agit d'une exception au principe selon lequel le juge dont la récusation est demandée ne doit pas faire partie de la composition de l'autorité chargée de statuer sur son déport (cf. arrêt non publié 1P.553/2001 du 12 novembre 2001, consid. 2b). Est notamment abusif le comportement de la partie qui entreprend de récuser systématiquement et sans discernement ses juges, en cherchant à paralyser le fonctionnement de l'appareil judiciaire (arrêt non publié 1P.391/2001 du 21 décembre 2001, consid. 3.1).
2.3 La démarche du recourant s'inscrivait manifestement dans un tel cadre: dans ses déterminations, du 18 août 2008, le recourant mettait en doute l'objectivité du magistrat intimé pour apprécier la récusation "de l'un de ses collaborateurs" dans une procédure "impliquant un autre (ex) membre ayant un lien direct avec le pouvoir judiciaire, et dans une cause où un collègue direct de Jean-Luc Mooser est aussi impliqué". Le recourant invoquait ainsi des motifs généraux de collégialité. Or, ceux-ci ne sont pas propres à eux seuls à fonder une demande de récusation; cela ressort tant de la jurisprudence constante (ATF 105 lb 301 consid. 1d p. 304) que du texte même de la loi, qui charge en général un ou plusieurs membres du même collège de statuer sur la récusation d'un magistrat. Pour le surplus, les déterminations du 18 août 2008 ne contiennent que des allégations se rapportant au fond de la cause, soit à la récusation du Juge Mooser. Le Vice-président pouvait ainsi légitimement considérer que la demande de récusation était dénuée de motivation suffisante, la tenir pour abusive et, partant, statuer lui-même sur la question.
3. Pour le surplus, le recourant consacre ses écritures à dénoncer la complicité d'un parti politique et de certains de ses membres, en particulier avec le "crime organisé". II tente d'en déduire que B._ bénéficierait de la complicité du pouvoir judiciaire, mais se limite à des accusations gratuites, sans chercher à contredire les motifs retenus dans la décision attaquée, notamment le fait que B._, Directeur de la sécurité et de la justice, n'a jamais exercé de fonction de surveillance sur les magistrats de l'ordre judiciaire.
4. II résulte de ce qui précède que le recours doit être rejeté, dans la mesure où il est recevable. Le recourant a demandé à être exempté du paiement des frais judiciaires. Compte tenu des circonstances de l'espèce - notamment des termes ambigus du dispositif de la décision attaquée, qui ont pu amener le recourant à croire que sa demande de récusation du Vice-président avait été ignorée -, il peut être fait droit à cette requête, à titre exceptionnel.
5. Quant à la lettre du 1er septembre 2008, elle porte sur des faits sans rapport avec la présente cause: elle tend à l'ouverture d'une procédure pénale contre un avocat, ce qui n'entre manifestement pas dans les compétences de la cour de céans. Elle a d'ailleurs été transmise par le MPC à l'Office vaudois des Juges d'instruction. Dans la présente procédure, elle sera donc classée sans suite.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Il n'est pas perçu de frais judiciaire, ni alloué de dépens.
3. Le présent arrêt est communiqué aux parties et au Vice-Président de l'Office des juges d'instruction du canton de Fribourg.
Lausanne, le 13 novembre 2008
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz