Faits:
A. A._, ressortissant angolais né en 1966, a été arrêté le 23 février 2006. Après une altercation, relative à un différend financier, avec B._ dans un bar de Renens, ils avaient quitté l'établissement et une bagarre avait éclaté entre eux, lors de laquelle A._ avait asséné deux coups de couteau, l'un au cou et l'autre dans le dos, à B._, en lui disant qu'il allait le tuer. Une instruction a été ouverte contre lui, pour crime manqué de meurtre, subsidiairement mise en danger de la vie d'autrui, lésions corporelles simples qualifiées et menaces, par le Juge d'instruction de l'arrondissement de Lausanne. Dans le cadre de celle-ci, il a été soumis à une expertise psychiatrique.
B. Le 2 mai 2006, A._ a sollicité sa mise en liberté provisoire.
Par ordonnance du 4 mai 2006, le Juge d'instruction a écarté la requête, à raison d'un risque de récidive et d'un risque de fuite.
Saisi d'un recours de A._, le Tribunal d'accusation du Tribunal cantonal vaudois, par arrêt du 8 juin 2006, l'a rejeté, confirmant la décision qui lui était déférée, et a fixé à 240 fr., plus 18 fr. de TVA, soit 258 fr. au total, l'indemnité due au défenseur d'office du recourant.
C. A._ forme un recours de droit public au Tribunal fédéral. Invoquant les art. 9 et 31 Cst., l'art. 5 CEDH et une application arbitraire de l'art. 59 du code de procédure pénale vaudois (CPP/VD), il conclut à l'annulation de l'arrêt attaqué et à sa mise en liberté provisoire immédiate, en sollicitant l'assistance judiciaire. Son mandataire se plaint par ailleurs de l'indemnité à lui allouée comme défenseur d'office en instance cantonale, en demandant le renvoi du dossier à l'autorité cantonale pour nouvelle décision sur ce point.
Le Ministère public conclut au rejet du recours. L'autorité cantonale formule une observation quant à l'indemnisation du défenseur d'office et, pour le surplus, se réfère à son arrêt. Le recourant a répliqué.

Le Tribunal fédéral considère en droit:
1. Par exception à la nature cassatoire du recours de droit public, la conclusion du recourant tendant, au-delà de l'annulation de l'arrêt attaqué, à sa mise en liberté provisoire immédiate est recevable (<ref-ruling> consid. 4b/aa p. 333).
2. Saisi d'un recours de droit public, le Tribunal fédéral ne peut entrer en matière que sur les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans le recours (cf. art. 90 al. 1 let. b OJ; <ref-ruling> consid. 1.3 p. 261/262; <ref-ruling> consid. 2.1 p. 120, 185 consid. 1.6 p. 189).
3. Le recourant soutient que l'arrêt attaqué viole les art. 31 al. 1 Cst. et 5 ch. 1 let. c CEDH et procède en outre d'une application arbitraire de l'art. 59 CPP/VD en tant qu'il admet un risque de récidive et un risque de fuite. Dans ce contexte, il se plaint également, sur plusieurs points, de l'établissement des faits, faisant valoir qu'une juste appréciation des éléments du dossier eût dû conduire à dénier l'existence des risques retenus.
3.1 Le recourant ne prétend pas que l'art. 59 CPP/VD, qui régit les conditions de la détention préventive, lui accorderait une protection plus étendue que celle découlant des dispositions de rang constitutionnel qu'il invoque et ne le démontre en tout cas pas. Il suffit donc d'examiner le grief sous l'angle de celles-ci.
3.2 Les art. 31 al. 1 Cst. et 5 ch. 1 CEDH prévoient que nul ne peut être privé de sa liberté si ce n'est dans les cas et selon les formes prévus par la loi. Il s'agit d'un corollaire de la garantie de la liberté personnelle, consacrée par les art. 10 al. 2 Cst. et 5 CEDH, qui ont la même portée. Une limitation de cette garantie n'est admissible que si elle repose sur une base légale légale claire, est ordonnée dans l'intérêt public et respecte le principe de la proportionnalité (art. 36 al. 1-3 Cst.; <ref-ruling> consid. 2c p. 270). Pour répondre à un intérêt public, une privation de liberté doit être justifiée par les besoins de l'instruction, un risque de fuite ou un danger de collusion ou de réitération (<ref-ruling> consid. 4c p. 340). Sa conformité au principe de la proportionnalité implique que sa durée ne dépasse pas celle de la peine privative de liberté qui pourrait, le cas échéant, être prononcée (<ref-ruling> consid. 5a p. 176/177 et les arrêts cités). Préalablement aux conditions de légalité, d'intérêt public et de proportionnalité, il doit exister à l'encontre de l'intéressé des charges suffisantes (<ref-ruling> consid. 3 p. 144). Le Tribunal fédéral examine librement si ces conditions sont réalisées, sous réserve des constatations de fait et de l'appréciation des preuves, qu'il ne revoit que sous l'angle de l'arbitraire (<ref-ruling> consid. 3a p. 35, 268 consid. 2d p. 271). Cette dernière notion a été rappelée récemment dans les <ref-ruling> consid. 2.1 p. 9 et 173 consid. 3.1 p. 178, auxquels on peut donc se référer.
3.3 Avec raison, le recourant ne conteste pas que son maintien en détention repose sur une base légale suffisante (cf. art. 59 CPP/VD), ni, au vu des faits reprochés, confirmés par plusieurs témoins, que des charges suffisantes pèsent contre lui. Avec raison aussi, il ne nie pas que la durée de la détention subie n'excède pas celle de la peine à laquelle il est exposé pour ces faits. Il conteste en revanche l'existence des risques de récidive et de fuite retenus, soutenant qu'ils ont été déduits d'une appréciation arbitraire des éléments du dossier.
3.4 Pour admettre l'existence d'un risque de récidive, l'autorité cantonale s'est fondée sur la nature des actes reprochés, soit des atteintes graves à l'intégrité corporelle d'autrui, en relation avec des comportements antérieurs similaires du recourant, relevant que ce dernier avait déjà été condamné le 14 novembre 2000 pour lésions corporelles simples et que la police a dû intervenir à de nombreuses reprises, notamment entre juin 2001 et novembre 2004, à raison d'actes de violence qu'il avait commis sur son épouse. Elle s'est également appuyée sur les conclusions de l'expertise quant à un risque de récidive, observant qu'il en résultait que ce risque était présent, même s'il était considéré comme limité.
De ces éléments, un risque de récidive pouvait être déduit sans arbitraire. Le recourant se voit reprocher des actes de violence graves, alors qu'il s'en est déjà pris à maintes reprises par le passé à l'intégrité corporelle d'autrui. Il semble au demeurant n'avoir toujours pas pris conscience de la gravité des faits qui lui sont reprochés et des conséquences potentielles de ses actes de violence, qu'il s'efforce de minimiser. A cela s'ajoute que l'expert, même s'il a indiqué qu'il lui paraissait faible, a clairement admis l'existence d'un risque de récidive, qu'il appartient d'ailleurs, en définitive, au juge d'apprécier sur la base de l'ensemble du dossier.
Que le recourant n'aurait pas causé à la victime de lésions corporelles susceptibles de mettre en danger la vie de celle-ci ou de lui occasionner des dommages durables, n'est en l'état pas établi, d'autant moins au vu des inculpations dont il fait l'objet. Au demeurant, le recourant ne démontre pas ni même ne dit en quoi ce fait, comme la circonstance qu'il aurait lui-même reçu des coups, serait ici déterminant. Quant au grief qu'il fait aux juges cantonaux de s'être écartés de l'expertise, il est manifestement infondé; que l'expert ait relevé que ce risque lui semblait faible, ne change rien au fait qu'il en a admis l'existence, comme l'ont observé les juges cantonaux. Enfin, s'agissant de ses comportements antérieurs violents, le recourant se borne à tenter de les minimiser; au demeurant, si certains d'entre eux ont pu être commis sous l'emprise de l'alcool, d'autres semblent remonter à une époque, postérieure à 2003, où, selon l'expert, le recourant était devenu abstinent, rien n'indiquant pour le surplus que les actes présentement reprochés auraient été commis sous l'influence de l'alcool.
3.5 Dès lors qu'un risque de récidive pouvait être admis, du moins sans arbitraire qui soit établi conformément aux exigences de motivation de l'art. 90 al. 1 let. b OJ, il suffit à justifier le maintien en détention, sans qu'il y ait lieu de se demander ce qu'il en est du risque de fuite également retenu par l'autorité cantonale.
Ainsi, le maintien en détention du recourant, contre lequel pèsent des charges suffisantes, repose sur une base légale claire, correspond à un intérêt public à éviter la réalisation d'un risque de récidive et respecte par ailleurs le principe de la proportionnalité. Le refus de l'autorité cantonale de libérer provisoirement le recourant ne viole donc pas les droits de rang constitutionnel qu'il invoque.
4. Le recours est formé exclusivement au nom du recourant. Son mandataire n'indique nulle part qu'il agirait aussi en son nom propre. Les conclusions prises le sont au demeurant uniquement au nom du recourant. Or, ce dernier, qui ne le rémunère pas lui-même, n'a pas d'intérêt juridiquement protégé ni, partant, qualité pour recourir au sens de l'art. 88 OJ pour se plaindre du montant de l'indemnité allouée à son défenseur d'office, au motif qu'il serait arbitrairement insuffisant (cf. arrêts 1P.705/1989, du 26 mars 1990, consid. 2 et 5P.113/1997, du 13 juin 1997, consid. 4). Le grief formulé en ce sens dans le recours est par conséquent irrecevable.
5. Le recours de droit public doit ainsi être rejeté dans la mesure où il est recevable. Comme ses conclusions étaient d'emblée vouées à l'échec, l'assistance judiciaire ne peut être accordée (cf. art. 152 al. 1 OJ). Il sera toutefois renoncé à la perception de frais.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Il n'est pas perçu de frais.
4. Le présent arrêt est communiqué en copie au mandataire du recourant, au Procureur général et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 juillet 2006
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le président: La greffière: