Faits:
A. Par jugement du 26 mai 2003, le Tribunal criminel de l'arrondissement de Lausanne a condamné A._, ressortissant letton né en 1976, à 15 ans de réclusion, sous déduction de 483 jours de détention préventive, à la poursuite d'un traitProtocollo addizionale
alla Convenzione sul trasferimento dei condannati
B. ement psychothérapeutique, et à 12 ans d'expulsion du territoire suisse, pour assassinat, vol et infraction à la LStup. Par arrêt du 15 septembre 2003, la Cour de cassation pénale du Tribunal cantonal vaudois a confirmé cette condamnation, tant sur la qualification juridique des faits que sur la quotité de la peine. Une décision d'expulsion a été rendue le 5 avril 2004 par le Service vaudois de la population.
C. Le 18 décembre 2007, l'Office d'exécution des peines du canton de Vaud (OEP) a demandé à l'Office fédéral de la justice (OFJ) le transfèrement de A._ à la Lettonie, en application du Protocole additionnel du 18 décembre 1997 à la Convention sur le transfèrement des personnes condamnées (RS 0.343 et 0.343.1; ci-après, respectivement la convention et le protocole). L'OEP relevait notamment que l'intéressé n'avait de contacts qu'avec sa grand-mère en Lettonie; il n'avait plus de relations avec son ex-épouse en Suisse. Le 12 décembre précédent, A._ avait été entendu; il s'était opposé à son transfèrement en relevant qu'il avait été agressé sexuellement lors d'une précédente détention en Lettonie, qu'il faisait partie de la minorité russe et parlait mal le letton, que les conditions de détention étaient mauvaises et qu'un transfèrement serait destructeur pour lui, le privant notamment de soutien psychologique.
Par décision du 18 août 2008, l'OFJ a décidé de demander à la Lettonie d'accepter le transfèrement de A._ afin d'exécuter le solde de sa peine. Le transfèrement aurait lieu dès acceptation définitive par la Suisse et la Lettonie. Les conditions posées par la convention et le protocole étaient réunies. Une réinsertion sociale serait plus facile dans le pays d'origine, même si l'intéressé parlait mal le letton. Il n'était pas établi que les soins requis par son état (hépatite et besoin d'un suivi psychologique) ne pourraient pas être assurés en Lettonie.
D. Par arrêt du 5 décembre 2008, la IIe Cour des plaintes du Tribunal pénal fédéral a rejeté le recours formé par A._. Une réinsertion en Suisse était impossible, compte tenu de la mesure d'expulsion. Dès lors, l'admission dans un centre de sociothérapie et l'accompagnement psychosocial paraissaient inutiles. En tant que membre du Conseil de l'Europe ayant ratifié la CEDH et le Pacte ONU II, la Lettonie devait garantir un standard minimum de protection des droits de l'homme. Le recourant prétendait avoir subi des agressions sexuelles lors d'une précédente détention, mais il n'apportait aucun élément permettant d'étayer ses affirmations. Il ne démontrait pas non plus l'existence d'un risque de violation des droits de l'homme en Lettonie, et rien ne permettait de penser que l'hépatite dont il souffrait ne pourrait être soignée en prison. Le rapport 2008 d'Amnesty International ne faisait pas état de problèmes particuliers sur ces points. Les deux condamnations de la Lettonie par la CourEDH se rapportaient l'une aux conditions de détention en isolement, l'autre à un établissement pénitentiaire dont la direction avait toutefois fait preuve de diligence.
E. Par acte du 18 décembre 2008, A._ forme un recours en matière de droit public. Il conclut à la réforme de l'arrêt de la Cour des plaintes en ce sens que la décision de l'OFJ est annulée. Il demande l'assistance judiciaire.
La Cour des plaintes persiste dans les termes de son arrêt. L'OFJ conclut au rejet du recours dans la mesure où il est recevable. Le recourant a renoncé à répliquer.

Considérant en droit:
1. Selon l'art. 84 LTF, le recours est recevable, à l'encontre d'un arrêt du Tribunal pénal fédéral rendu en matière d'entraide pénale internationale, que s'il a pour objet une extradition, une saisie, le transfert d'objets ou de valeurs ou la transmission de renseignements concernant le domaine secret, pour autant qu'il s'agisse d'un cas particulièrement important (al. 1). Un cas est particulièrement important "notamment lorsqu'il y a des raisons de supposer que la procédure à l'étranger viole des principes fondamentaux ou comporte d'autres vices graves" (al. 2). Selon l'<ref-law>, c'est au recourant qu'il appartient de démontrer que ces exigences sont satisfaites.
1.1 La remise d'un condamné à un Etat étranger aux fins d'exécution d'une peine prononcée en Suisse (<ref-law>) est un acte d'entraide qui, du point de vue de la personne concernée, s'apparente à un cas d'extradition (cf. art. 25 al. 2 et 2bis EIMP). La décision de l'OFJ de requérir le transfèrement constitue l'acte attaquable (FF 2002 4046). Le recourant a qualité pour agir (<ref-law>) et le recours a été déposé dans le délai de dix jours prévu à l'<ref-law>.
1.2 Le recourant soutient notamment qu'il serait exposé, en cas de poursuite de l'exécution de sa peine dans une prison en Lettonie, à des traitements contraires à l'art. 3 CEDH. Comme cela est relevé ci-dessous, ce risque ne saurait être pris à la légère. Par ailleurs, en tant qu'il porte sur les conditions posées au transfèrement d'une personne condamnée en Suisse, le présent cas soulève une question de principe. Cela justifie une entrée en matière.
2. Reprenant ses motifs d'opposition, le recourant relève que lors de ses précédentes incarcérations en Lettonie, il aurait subi de graves sévices, notamment des agressions sexuelles. Il dit souffrir actuellement d'hépatite C. Il se prévaut d'un rapport établi en mai 2008 par le Comité européen pour la prévention de la torture (CPT), qui fait état de mauvais traitements dans des lieux de détention en Lettonie.
2.1 Selon l'art. 25 al. 3 Cst., nul ne peut être refoulé sur le territoire d'un Etat dans lequel il risque la torture ou tout autre traitement ou peine cruels ou inhumains (<ref-ruling> consid. 6.3 p. 164). En matière d'entraide judiciaire, ce principe est rappelé à l'<ref-law>, disposition qui a pour but d'éviter que la Suisse ne prête son concours à des procédures qui ne garantiraient pas à la personne poursuivie un standard de protection minimal correspondant à celui des Etats démocratiques, défini en particulier par la CEDH et le Pacte ONU II (<ref-ruling> consid. 4a p. 326; <ref-ruling> consid. 8a p. 364; <ref-ruling> consid. 6a p. 166/167, 511 consid. 5a p. 517, 595 consid. 5c p. 608; <ref-ruling> consid. 5a p. 142; cf., en dernier lieu, arrêt de la CourEDH Saadi contre Italie du 28 février 2008, § 124 s.). La Suisse elle-même contreviendrait à ses obligations internationales en extradant ou en remettant une personne à un Etat où il existe des motifs sérieux de penser qu'un risque de traitement contraire à la CEDH ou au Pacte ONU II menace l'intéressé (<ref-ruling> consid. 2d/aa p. 260, 324 consid. 4c p. 327; <ref-ruling> consid. 8a p. 364, et les arrêts cités).
Avec raison, la Cour des plaintes a considéré que ces principes devaient également s'appliquer à une procédure de transfèrement. La convention repose essentiellement sur des motifs humanitaires: il s'agit d'éviter d'une part les souffrances qui peuvent résulter, pour la personne condamnée, d'une incarcération loin de son milieu familial et culturel, et de favoriser d'autre part sa réinsertion sociale dans son pays d'origine (FF 1986 741). Même s'il permet, à certaines conditions, de faire abstraction du consentement de la personne intéressée, le protocole poursuit les mêmes buts, tout en permettant d'éviter des comportements abusifs telle que la fuite dans le pays d'origine afin d'échapper à une exécution de peine. S'agissant des condamnés qui ont fait l'objet d'une mesure d'expulsion, le protocole repose sur la considération qu'une réinsertion n'est pas possible dans le pays de condamnation, et donc préférable dans le pays d'origine. Compte tenu des buts humanitaires qui sont à la base de la convention et du protocole, l'autorité suisse doit préalablement entendre l'intéressé, tenir compte de ses objections et rechercher d'office si le transfèrement peut avoir lieu dans des conditions acceptables. Ni la convention ni le protocole n'ont pour but d'assurer au condamné les conditions de détention les plus favorables; toutefois une incarcération dans l'Etat d'exécution doit garantir d'une part un traitement du détenu conforme aux exigences des normes de droit international en la matière et, d'autre part, une réinsertion au moins équivalente à ce que permettrait la poursuite de l'exécution de la peine dans l'Etat de condamnation.
2.2 L'autorité suisse doit donc, avant de requérir le transfèrement, s'assurer elle-même que la personne concernée n'est pas sérieusement menacée d'un traitement prohibé. Si les risques sont réels, la Suisse doit renoncer à la demande de délégation de l'exécution (message relatif au protocole additionnel, FF 2002 p. 4045 et 4050-4051). Dans le cas du transfèrement, l'Etat requérant ne dispose - contrairement aux cas d'extradition assortis de conditions - d'aucun droit de regard sur la situation du détenu. La convention prévoit que l'Etat de condamnation peut demander un rapport spécial concernant l'exécution de la condamnation (art. 15 let. c), mais il est douteux que l'autorité requérante puisse ainsi prétendre être renseignée en détail sur les conditions d'incarcération.
2.3 En matière d'extradition, la jurisprudence distingue les Etats - notamment d'Europe de l'ouest - à l'égard desquels il n'y a en principe pas de doute à avoir quant au respect des droits de l'homme, ceux pour lesquels une extradition peut être accordée moyennant l'obtention de garanties particulières - notamment les autres Etats membres du Conseil de l'Europe -, et enfin les Etats vers lesquels une extradition est exclue, compte tenu des risques concrets de traitement prohibé (<ref-ruling> consid. 6.7 p. 169). La Cour des plaintes a considéré que cette classification devait être reprise en matière de transfèrement, et a estimé que la Lettonie se situait dans la première, "voire dans la deuxième catégorie de pays au sens de la jurisprudence".
On peut douter de l'utilité d'une telle distinction en l'espèce. Lorsqu'il s'agit de transfèrement d'une personne condamnée, la Suisse agit en tant qu'Etat requérant; elle n'est donc pas en mesure d'exiger ni d'obtenir des garanties diplomatiques de la part de l'Etat requis, comme cela est le cas lorsqu'il s'agit d'accorder l'extradition. Elle dispose certes d'un droit de recommandation, notamment quant au traitement médical que le détenu doit recevoir (art. 6 par. 2 let. d de la convention), ainsi que d'un certain droit d'information (art. 15 de la convention), mais ceux-ci sont dépourvus de toute force contraignante: l'exécution de la condamnation est régie par la loi de l'Etat d'exécution, seul compétent pour prendre toutes les décisions appropriées (art. 9 par. 3 de la convention). Avant de s'adresser formellement à l'Etat d'exécution, l'autorité suisse doit donc se renseigner de manière complète sur les conditions d'incarcération qui seront vraisemblablement celles de la personne transférée, de manière à s'assurer, avec un degré suffisant de probabilité, que celle-ci ne court pas le risque d'un traitement contraire aux droits de l'homme.
Force est d'admettre qu'à ce stade, les investigations nécessaires n'ont pas été menées.
2.4 La Cour des plaintes a évoqué les deux arrêts de la CourEDH dans lesquels la Lettonie a fait l'objet d'une constatation de violation de l'art. 3 CEDH; le premier concerne le maintien en détention d'une personne, âgée de 84 ans, dans l'infirmerie d'un établissement pénitentiaire. En dépit des interventions favorables de l'administration pénitentiaire, les autorités judiciaires avaient tardé à libérer l'intéressé (arrêt Farbtuhs contre Lettonie, n° 4672/02 du 2 décembre 2004). Il apparaissait toutefois que les autorités pénitentiaires avaient, pour leur part, fait preuve de diligence. La seconde affaire (arrêt Kadikis contre Lettonie n° 62393/00 du 4 mai 2006) concerne un placement durant quinze jours en quartier d'isolement de la direction de la police d'Etat, et non pas dans un établissement pénitentiaire.
Relevant qu'il n'existait pas d'autre constat de violation de l'art. 3 CEDH depuis 2001, et que le rapport 2008 d'Amnesty International ne faisait pas état de cas de torture ou de mauvais traitements subis dans les prisons lettones, la Cour des plaintes en a déduit que la Lettonie offrait des garanties suffisantes au sens de la jurisprudence précitée.
2.5 Le recourant se réfère pour sa part au rapport établi le 13 mars 2008 par le CPT, après une visite en Lettonie du 5 au 12 mai 2004. De nombreux manquements constatés ont trait aux conditions de détention dans les locaux de la police. Le CPT a également constaté, après avoir visité les établissements de Riga, Daugavpils et Jelgava, que les problèmes de surpopulation carcérale, déjà constatés auparavant, demeuraient actuels; il reprenait ses recommandations quant au respect des standards sur l'espace vital des détenus, et aux mesures de lutte contre la surpopulation carcérale. Des allégations de mauvais traitements physiques ou psychologiques, ou de menaces et d'agressions verbales, ont été évoquées. Le CPT s'est déclaré particulièrement préoccupé par les allégations graves et répétées de violences entre les détenus. Il fait notamment référence à un cas d'abus sexuels sur un jeune détenu, et recommande que des mesures soient prises afin de procéder aux constatations médicales et de signaler immédiatement ces cas aux autorités de poursuites. Les réserves les plus importantes au sujet des conditions de détention concernent les prisonniers à vie et les jeunes détenus. Toutefois, à l'égard de l'ensemble des détenus, le CPT relevait que certaines cellules des établissements visités étaient insuffisamment équipées au niveau de la lumière, de la ventilation des installations sanitaires; le nombre de détenus pouvait excéder celui des lits disponibles; les activités et exercices à l'extérieur des cellules paraissaient très limités. A propos des soins, le CPT estimait que les conditions de vie des patients à l'hôpital carcéral de Riga étaient totalement inacceptables, ses précédentes recommandations n'ayant pas été prises en compte. L'absence d'activités psycho-sociales était relevée. Les services de santé des prisons visitées présentaient également certains manquements (absence d'examen médical d'entrée, lacunes dans les dossiers médicaux en particulier après un incident violent).
2.6 Sur le vu du rapport précité du CPT - dont la Cour des plaintes n'a pas tenu compte et dont le recourant ne s'est prévalu que dans son recours au Tribunal fédéral -, on ne saurait affirmer sans autre que les prisons lettonnes présentent des garanties suffisantes d'un traitement respectueux des droits de l'homme, et que la Lettonie fasse partie des Etats qui ne présentent "aucun problème" sous l'angle de l'art. 3 CEDH.
2.7 Des investigations supplémentaires apparaissent également nécessaires sur le vu des particularités propres au recourant. Celui-ci prétend avoir subi des agressions sexuelles lors de précédents séjours dans des prisons de Lettonie. La Cour des plaintes a considéré qu'il s'agissait de simples affirmations, non étayées. Ces allégations ne peuvent toutefois être d'emblée écartées puisque le recourant en avait déjà fait état au cours de la procédure pénale, à une époque où il n'était pas question d'un transfèrement à l'étranger. Des allégations crédibles d'abus sexuels commis en prison ont d'ailleurs également été rapportées au CPT.
Dans son jugement du 26 mai 2003, le Tribunal d'arrondissement de Lausanne a ordonné la poursuite d'un traitement psychothérapeutique mis en place au cours de la détention préventive. Ce traitement était nécessaire pour permettre au recourant de maîtriser son agressivité, de gérer son potentiel de violence et de prévenir le risque de récidive. Dans la perspective d'une réinsertion, l'autorité suisse doit se demander s'il est nécessaire de poursuivre un tel traitement, et si cela est envisageable dans les prisons lettones. Le recourant souffre également d'une hépatite C et il y a lieu de s'assurer que les soins que nécessite cette affection pourront être prodigués.
2.8 Par conséquent, avant de décider du transfèrement du recourant en Lettonie, il y aura lieu de se renseigner de manière aussi complète que possible sur les conditions prévisibles de détention. Il conviendra également de s'assurer que l'Etat requis a été informé de l'état de santé physique et psychique du recourant (art. 6 par. 2 let. d de la convention) et que ce dernier pourra bénéficier en détention de soins appropriés. A la lumière de ces renseignements, l'autorité devra déterminer si la réinsertion du recourant peut être assurée au moins aussi bien en Lettonie que s'il était expulsé de Suisse après y avoir purgé le solde de sa peine.
C'est à l'OFJ qu'il appartiendra de déterminer de quelle manière de telles informations peuvent être obtenues, soit en faisant appel aux unités compétentes du Département fédéral des affaires étrangères (cf. FF 2002 p. 4045, note 23), soit directement auprès de l'Etat requis.
3. Sur le vu de ce qui précède, le recours doit être admis. L'arrêt attaqué est annulé, de même que la décision de l'OFJ. La cause est renvoyée à cette dernière autorité pour nouvelle décision, après avoir complété l'instruction. Le recourant a droit à des dépens, à la charge de la Confédération, ce qui rend sans objet sa demande d'assistance judiciaire. Il n'est pas perçu de frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé, de même que la décision rendue le 18 août 2008 par l'Office fédéral de la justice. La cause est renvoyée à cette autorité pour nouvelle décision dans le sens des considérants.
2. Une indemnité de dépens de 2000 fr. est allouée au recourant, à la charge de la Confédération (OFJ). La demande d'assistance judiciaire est sans objet.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué au mandataire du recourant, à l'Office fédéral de la justice et au Tribunal pénal fédéral, IIe Cour des plaintes.
Lausanne, le 12 mars 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz