Faits: A. A._, ressortissant français, a été extradé de Belgique en Suisse au mois de juin 2007, pour l'exécution d'un jugement rendu par défaut en décembre 2003 (condamnation par le Tribunal d'arrondissement de l'Est vaudois à 8 mois de privation de liberté pour crime manqué d'escroquerie et faux dans les titres) et pour les besoins de trois instructions pénales en cours dans l'arrondissement de l'Est vaudois et le canton du Jura. L'extradition a été refusée pour l'exécution de deux jugements rendus en 1994 (condamnation par la Cour suprême du canton de Berne à 16 mois de détention avec sursis pour escroquerie) et 1999 (condamnation par le Tribunal correctionnel du Pays d'Enhaut à 2 ans de détention), car ces deux peines étaient prescrites en droit belge. A._ a obtenu le relief du défaut prononcé en 2003; la peine a été ramenée à deux mois de privation de liberté. Par jugement du 19 novembre 2008, le Tribunal correctionnel de l'arrondissement de Lausanne l'a condamné à une peine privative de liberté de 34 mois de détention, sous déduction de 808 jours de détention préventive. Le 27 janvier 2009, le Juge d'application des peines du canton de Vaud (ci-après: le JAP) lui a accordé la libération conditionnelle, pour ces deux condamnations. Le 1er mars 2009, la Fondation vaudoise de probation, chargée du suivi probatoire de A._, a informé ce dernier par téléphone que le suivi était suspendu car il n'était pas autorisé à séjourner en Suisse. Le 8 avril 2009, l'Office vaudois d'exécution des peines l'a informé qu'il devait quitter sans délai la Suisse en raison d'une interdiction d'entrée prononcée le 12 janvier 2000 par l'Office fédéral des étrangers, et valable jusqu'au 11 janvier 2010. S'il demeurait en Suisse, il s'exposait à de nouvelles sanctions pénales et à une révocation de sa libération conditionnelle. B. Le 25 avril 2009, A._ a été arrêté à l'Aéroport de Zurich, au retour d'un voyage en Russie et aux Etats-Unis, sur la base d'un signalement RIPOL réactivé par les autorités bernoises en vue de l'exécution de la condamnation prononcée en 1994. Berne ayant délégué l'exécution de cette condamnation aux autorités vaudoises, ces dernières ont repris à leur charge l'exécution des condamnations de 1994 et 1999. A._ a formé une demande de libération conditionnelle. Par arrêt du 25 juin 2009, le JAP a traité cette demande comme un recours contre l'arrestation et la mise à exécution des deux condamnations de 1994 et 1999, et l'a rejeté. La réserve de la spécialité, posée par la Belgique lors de l'extradition, était tombée en vertu des art. 14 par. 1 CEExtr. et 38 al. 2 let. b EIMP, l'intéressé étant resté en Suisse à l'issue du délai de répit. Il n'avait certes pas été informé des conséquences de l'expiration de ce délai. Toutefois, en vertu de la primauté du droit international, la CEExtr. devait prévaloir sur le droit national lorsque ce dernier n'avait pas pour but de favoriser la coopération internationale. Or, l'art. 14 CEExtr. n'exigeait pas que l'intéressé ait été informé des conséquences de la poursuite de son séjour en Suisse. Les autres conditions posées par cette disposition (élargissement définitif et possibilité de quitter le territoire suisse) étaient remplies. C. A._ forme un recours auprès de la Cour pénale du Tribunal fédéral. Il demande la réforme de l'arrêt du JAP en ce sens que la décision de l'Office d'exécution des peines ordonnant la mise à exécution des peines prononcées en 1994 et 1999 est annulée, et que l'ordre est donné de le mettre immédiatement en liberté conditionnelle. Subsidiairement, il demande le renvoi de la cause au JAP pour nouvelle instruction et décision au sens des considérants. Il demande en outre l'assistance judiciaire. La cause a été transmise à la Ire Cour de droit public, ce dont les parties ont été informées. Après avoir confirmé qu'il n'existe aucune voie de droit cantonal contre l'arrêt attaqué, le JAP a renoncé à répondre au recours et s'est référé à son arrêt. L'Office fédéral de la justice, Unité Extraditions (ci-après: OFJ), conclut au rejet du recours. Le recourant a répliqué et maintenu ses conclusions.