Sachverhalt:
A. Die IV-Stelle des Kantons Solothurn gewährte dem sehbehinderten, früher als Freileitungsmonteur tätig gewesenen G._ (geboren 1959) verfügungsweise verschiedene berufliche Massnahmen, worunter eine 5-semestrige Umschulung zum medizinischen Masseur beim Institut X._ samt Taggeldern vom Oktober 2004 bis April 2007. Zur Ausbildung gehörte ein Praktikum. Am 24. März 2006 teilte G._ der IV-Stelle mit, er hätte einen Praktikumsplatz antreten sollen; doch habe ihn die Praktikumsstelle wegen seiner Tätowierungen an Händen und Fingern abgelehnt. Nachdem die IV-Stelle bei der Ausbildungsstätte erfahren hatte, dass G._ eine Hakenkreuzdarstellung auf der Hand trage und die Praktikumsstelle verlange, dass er diese während der Arbeit mit einem Pflaster abdecke, forderte sie ihn am 6. April 2006 unter Androhung des sofortigen Abbruchs der Umschulung auf, sich bis zum 24. April 2006 eine Praktikumsstelle zu organisieren und allfällige Vorgaben wie das Abdecken des Tattoos zu akzeptieren. Die Frist verlief unbenutzt. Die IV-Stelle stellte die Taggeldzahlung auf Ende April 2006 ein und verfügte nach durchgeführtem Vorbescheidverfahren am 28. November 2006, das Leistungsbegehren auf "weitere berufliche Massnahmen sowie die Ausrichtung einer IV-Rente" werde abgewiesen; zur Begründung führte sie an, es wäre zumutbar gewesen, die Tätowierung während der Arbeit abzudecken; die Ausbildung zum Masseur sei aus invaliditätsfremden Gründen im Mai 2006 abgebrochen worden.
B. G._ erhob gegen die Verfügung vom 28. November 2006 Beschwerde an das Versicherungsgericht des Kantons Solothurn mit dem Antrag, es sei ihm das Taggeld weiterhin auszurichten und der Abschluss der begonnenen Ausbildung zum Masseur zu ermöglichen; zudem sei eine gesamtheitliche Prüfung des Gesundheitszustands vorzunehmen und eventualiter der Invaliditätsgrad aufgrund der aktuellen medizinischen Beurteilung neu festzulegen. Das Versicherungsgericht wies die Beschwerde mit Urteil vom 28. März 2008 ab.
C. G._ erhebt Beschwerde mit dem Antrag auf eine "nochmalige Prüfung des Falles". Die IV-Stelle des Kantons Solothurn beantragt Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen äussert sich, ohne einen Antrag zu stellen.

Erwägungen:
1. 1.1 Mit der von der Vorinstanz bestätigten Verfügung vom 28. November 2006 wurde das Leistungsbegehren in Bezug auf weitere berufliche Massnahmen und die Ausrichtung einer Invalidenrente abgewiesen. Weder die kantonale Beschwerde noch das Urteil der Vorinstanz haben sich zur Rentenfrage geäussert, und der Beschwerdeführer bringt auch letztinstanzlich dazu nichts vor. Streitgegenstand ist somit einzig die Frage der beruflichen Massnahmen.
1.2 Die Vorinstanz hat erwogen, die Hakenkreuz-Tätowierungen auf der Hand und den Fingern würden jedem Patienten, den der Beschwerdeführer behandle, sofort auffallen; jeder Patient werde sich überlegen, ob er sich von einer Person, die dieses Zeichen nach aussen sichtbar trage und damit bewusst oder unbewusst einen bestimmten politischen Standpunkt dokumentiere, behandeln lassen wolle. Die Arbeitgeber hätten zu Recht verlangt, dass das Zeichen abgedeckt werde. Der Beschwerdeführer beruft sich letztinstanzlich zum ersten Mal auf die Religionsfreiheit gemäss Art. 18 UNO-Pakt II (SR 0.103.2), der eine vergleichbare Tragweite hat wie die entsprechenden Garantien von <ref-law> und Art. 9 EMRK (<ref-ruling> E. 2.2, 129 I 74 E. 4.1, 125 I 300 E. 3c, <ref-ruling> E. 2b/aa S. 301). Er bestreitet, dass die Tätowierung Ausdruck seiner politischen Einstellung sei; er gehöre der Glaubensgemeinschaft des Jainismus an, dessen wichtigstes Zeichen das Hakenkreuz sei; das von der IV-Stelle praktizierte Vorgehen verletze sein Recht, seine Religion nach aussen zu tragen. Diese neue rechtliche Argumentation fällt nicht unter das Novenverbot von <ref-law> und ist daher zulässig, soweit sie sich im Rahmen des Streitgegenstands bewegt (Ulrich Meyer, Basler Kommentar zum BGG, Basel 2008, N 23 und 27 zu Art. 99), was hier zutrifft.
2. Die Swastika (Hakenkreuz) ist unbestritten ein heiliges Symbol des Jainismus. Das sichtbare Tragen der Swastika gehört daher zu der grundrechtlich geschützten Freiheit, seine Religion zu bekennen (<ref-law>, Art. 9 Abs. 1 EMRK, Art. 18 Abs. 1 UNO-Pakt II). Ob der Beschwerdeführer tatsächlich der Religionsgemeinschaft des Jainismus angehört, steht freilich nicht fest, kann aber offenbleiben: Denn die Religionsfreiheit schützt nicht nur Mitglieder von Glaubensgemeinschaften, sondern auch Personen, die individuell eine Glaubensüberzeugung praktizieren oder bekennen (Urteil des Europäischen Gerichtshofs für Menschenrechte in Sachen S. L. gegen Türkei vom 10. November 2005, Ziff. 105, EuGRZ 2005 S. 31; Regina Kiener/Walter Kälin, Grundrechte, Bern 2007, S. 268; Konrad Sahlfeld, Aspekte der Religionsfreiheit, Diss. Luzern, Luzerner Beiträge zur Rechtswissenschaft [LBR] Bd. 3, Zürich 2004, S. 156; Bernhard Schmithüsen, Religionsfreiheit und Glaubenserfahrung, Diss. Luzern LBR Bd. 22, Zürich 2007, S. 20 f.).
3. Die Religionsfreiheit kann wie andere Grundrechte durch Gesetz eingeschränkt werden, namentlich zum Schutz der öffentlichen Sicherheit, Ordnung, Gesundheit, Sittlichkeit, Moral oder der Grundrechte anderer (<ref-law>, Art. 9 Abs. 2 EMRK, Art. 18 Abs. 3 UNO-Pakt II). Die Vorinstanzen bringen mit Recht nicht vor, eine Hakenkreuztätowierung auf der Hand sei als solche gesetzlich verboten. Sie machen aber geltend, die Praktikumsinstitutionen hätten mit Recht und zumutbarerweise vom Beschwerdeführer verlangt, die Tätowierungen abzudecken, weil die vom Beschwerdeführer zu massierenden Patienten möglicherweise die Behandlung ablehnen würden, weil sie die Tätowierungen mit einer politischen Haltung des Beschwerdeführers in Verbindung bringen würden. Zu prüfen ist also, ob der Beschwerdeführer das - jedenfalls vorläufige (s. hinten E. 5.2) - Scheitern der Eingliederungsmassnahme im Sinne von <ref-law> selber zu vertreten hat.
4. Der Beschwerdeführer erachtet es als unzumutbaren Eingriff in seine Religionsfreiheit, wenn von ihm verlangt werde, für die Durchführung der Eingliederungsmassnahme seine religiöse Kennzeichnung abzudecken.
4.1 Nach <ref-law> kann der Arbeitgeber den Arbeitnehmern in den Schranken ihres Persönlichkeitsrechts (<ref-law>) Weisungen erteilen über die Ausführung der Arbeit und das Verhalten im Betrieb. In diesem Rahmen können auch über das Tragen von Kleidern und anderen Gegenständen bei der Arbeit Vorschriften erlassen werden, soweit diese einen Bezug zur Arbeit (Erfüllung der arbeitsvertraglichen Pflichten; Schutz von Gesundheit, Sicherheit, Sittlichkeit) oder zur Firmenphilosophie haben (Werner Gloor, Kopftuch an der Kasse - Religionsfreiheit im privaten Arbeitsverhältnis, ARV 2006 S. 1 ff., 4, 10). Vorliegend steht nicht zur Diskussion, dass der Beschwerdeführer die ihm übertragene Arbeit (Massage) infolge seiner Tätowierungen nicht oder nicht gut hätte ausüben können. Es geht auch nicht um die Beschäftigung in einem sog. Tendenzbetrieb, in welchem in Bezug auf die weltanschauliche oder religiöse Ausrichtung des Arbeitnehmers erhöhte Anforderungen gestellt werden dürfen (<ref-ruling> E. 4 S. 701). Vielmehr haben die potenziellen Arbeitgeber offenbar die Beschäftigung des Beschwerdeführers abgelehnt, weil sie negative Kundenreaktionen befürchteten. Ob solche Befürchtungen ein Verbot des Tragens religiöser Symbole rechtfertigen können, ist in der Lehre umstritten (vgl. Gloor, a.a.O., S. 11 f.; Andrea Büchler, Islam und Schweizerisches Arbeitsrecht, in: René Pahud de Mortanges/ Erwin Tanner, Muslime und schweizerische Rechtsordnung, Freiburg 2002, S. 427 ff., 446).
4.2 Im vorliegenden Fall ist jedoch nicht zu entscheiden, ob ein privater Arbeitgeber von seinen Arbeitnehmern verlangen darf, auf das Tragen eines religiösen Symbols zu verzichten, sondern ob die staatliche Sozialversicherung ihre Leistungen einstellen darf, wenn eine Anstellung deshalb nicht zustande kommt, weil ein privater Arbeitgeber (zivilrechtlich allenfalls zulässigerweise) Anforderungen stellt, denen sich der Versicherte aus religiösen oder weltanschaulichen Gründen nicht unterzieht.
4.3 Die bisherige bundesgerichtliche Rechtsprechung hatte sich vor allem im Rahmen der Arbeitslosenversicherung mit dieser Fragestellung auseinanderzusetzen: Nach <ref-ruling> kann die Vermittlungsfähigkeit im Lichte der Meinungsfreiheit nicht schon deswegen verneint werden, weil der Versicherte politische Meinungen äussert, die seine Chancen auf dem Arbeitsmarkt schmälern; anders wäre es nur, wenn sein Verhalten, auch wenn es nicht illegal ist, die Anstellungschancen derart schmälert, dass praktisch von einer Vermittlungsunfähigkeit ausgegangen werden muss. Im Urteil C 366/96 vom 2. Juni 1997 (ARV 1998 Nr. 47 S. 276) erkannte das Eidgenössische Versicherungsgericht, die arbeitslosenversicherungsrechtliche Pflicht, zur Schadenminderung eine vom Arbeitsamt zugewiesene zumutbare Arbeit anzunehmen, müsse hinter die Religionsfreiheit zurücktreten, weil die Versicherte bei dieser Arbeit aus Sicherheitsgründen kein Kopftuch tragen dürfe und ihr bei der zugewiesenen Arbeit keine andere Wahl bleibe, als entweder einem staatlichen oder einem religiösen Gebot zuwiderzuhandeln, sodass sich für sie ein erheblicher Gewissenskonflikt ergäbe. Dabei war auch massgebend, dass die Versicherte eine Vielzahl anderer Arbeiten hätte ausführen können, ohne in die erwähnte Konfliktsituation zu geraten. Analog wurde entschieden im Urteil C 145/94 vom 27. September 1996 (SVR 1997 ALV Nr. 90 S. 278) im Falle einer Brahmanin, der eine Arbeit zugewiesen worden war, bei der sie in (religiös für sie verbotenen) Kontakt mit Fleisch oder Fisch gekommen wäre, sowie im Urteil C 144/94 vom 27. Dezember 1994 bei einem moslemischen Versicherten, der eine Arbeit ablehnte, bei der er allein mit einer Frau in einem geschlossenen Raum hätte arbeiten müssen. Demgegenüber war gemäss Urteil C 274/04 vom 29. März 2005 (ARV 2006 S. 155) die Zuweisung einer Arbeit in einem Hotel mit einer gewissen religiösen Prägung einem Atheisten zumutbar; das allgemein gehaltene Interesse, während der Arbeit nicht mit von ihm abgelehnten Glaubensansichten konfrontiert zu werden, sei für die Beurteilung der Zumutbarkeit weniger stark zu gewichten als das mit der Schadenminderungspflicht korrelierende öffentliche Interesse an der Durchführung einer amtlich zugewiesenen arbeitsmarktlichen Massnahme (vgl. dazu Nichtzulassungsentscheid EGMR vom 20. September 2007, 32166/05). Im Urteil C 197/04 vom 2. Mai 2006 wurde eher verneint, dass ein Kursbesuch, der angeblich eine buddhistische Färbung hatte, einem überzeugten Christen nicht zumutbar sei; die Frage konnte letztlich aber offenbleiben (die angeordnete Einstellung wurde aufgehoben, weil die erhobenen Vorwürfe wenig Greifbares enthielten und keine Verwarnung erfolgt war). Schliesslich ist auch die Pflicht, eine obligatorische Krankenpflegeversicherung abzuschliessen, mit der Glaubens- und Gewissensfreiheit vereinbar (Urteil K 151/97 vom 18. Oktober 1999, E. 5d; RKUV 2000 Nr. KV 99 S. 1 = SVR 2000 KV Nr. 24 S. 81), auch abgesehen davon, dass diese Pflicht durch verbindliches Bundesgesetz vorgeschrieben ist (Urteil K 57/00 vom 14. November 2000, E. 3a; RKUV 2001 Nr. KV 151 S. 117).
4.4 Nach der zitierten Rechtsprechung ist für die Zumutbarkeit einer Tätigkeit namentlich einerseits die Schwere der Berührung in den persönlichen Glaubensansichten massgebend, andererseits die Frage, ob auch andere Tätigkeiten möglich wären, bei denen ein Konflikt zwischen religiösen und staatlichen Pflichten nicht besteht (vgl. auch Jean-Louis Duc, "Problèmes musulmans" en droit des assurances sociales - Examen de quelques situations, in: René Pahud de Mortanges/Erwin Tanner [Hrsg.], Muslime und schweizerische Rechtsordnung, Freiburg 2002, S. 199 ff., 214 f.)
5. 5.1 Das vom Beschwerdeführer erwartete Verhalten, nämlich das Abdecken der Tätowierungen während der Arbeitszeit, ist eine eher geringfügige Einschränkung der Religionsfreiheit: Der Beschwerdeführer bringt selber nicht vor, es sei eine Glaubenspflicht der Jainisten, Swastika-Tätowierungen auf der Hand zu tragen; eingeschränkt wird nur das Recht, die eigene Glaubensüberzeugung gegen aussen sichtbar zu äussern. Dieses Recht ist indessen nicht absolut geschützt und kann auch in anderen Zusammenhängen eingeschränkt werden (<ref-ruling> E. 2b/cc S. 302). Das Bundesamt für Sozialversicherungen stellt allerdings in Frage, ob eine Abdeckung der Tätowierung nicht die Tätigkeit als Masseur beeinträchtigen oder verunmöglichen könnte, zumal nicht bekannt ist, wo genau sich die Tätowierungen befinden. Immerhin macht der Beschwerdeführer selber solches nicht geltend. Fraglich scheint demgegenüber, ob nicht andere Tätigkeiten möglich wären: Nach den Sachverhaltsfeststellungen der Vorinstanz wurde an den beiden Praktikumsstellen, die dem Beschwerdeführer von der Ausbildungsstelle zur Verfügung gestellt worden seien, eine Abdeckung der Tätowierungen verlangt. Darüber, ob auch an anderen Stellen eine solche Abdeckung verlangt worden wäre, enthält das angefochtene Urteil keine Feststellungen. Es ist nicht von vornherein ausgeschlossen, dass andere Praktikumsplätze verfügbar gewesen wären, bei denen dies nicht der Fall gewesen wäre. Die Feststellung der Vorinstanz stützt sich offenbar auf den Protokolleintrag vom 31. März 2006, wonach die Ausbildungsstätte der IV-Stelle mitteilte, an beiden Praktikumsstellen, die ihm zur Verfügung gestellt worden seien, hätte er die Hakenkreuztätowierung mit einem Pflaster abdecken müssen. Bereits am 6. April 2006 teilte aber die Ausbildungsstätte gemäss Protokolleintrag der IV-Stelle mit, der Beschwerdeführer habe schon wieder neue Praktikumsstellen in Aussicht. Aus den Einträgen ist nicht ersichtlich, dass auch an diesen neuen Stellen ein Abdecken der Tätowierungen verlangt worden wäre. Sollte ein solcher Praktikumsplatz verfügbar gewesen sein, so hätte kein Anlass bestanden, die berufliche Massnahme abzubrechen. In einem weiteren Eintrag vom 6. April 2006 ist denn auch festgehalten, dass die Taggeldzahlungen wieder ausgerichtet würden, wenn der Versicherte die berufliche Massnahme wieder aufnehme. Weder aus den Sachverhaltsfeststellungen der Vorinstanz noch aus den Akten geht hervor, aus welchen Gründen der Beschwerdeführer schliesslich keine andere Praktikumsstelle angetreten hat. Dass auch an weiteren Stellen eine Abdeckung der Tätowierungen verlangt worden wäre, ist denkbar, aber nicht aktenkundig. Offenbar hat sich der Beschwerdeführer in der Folge beim RAV gemeldet und verschiedene andere Arbeiten gesucht, doch lässt sich daraus nicht schliessen, er habe selber freiwillig die Ausbildung zum Masseur abgebrochen.
5.2 Ob eine endgültige Abweisung des Leistungsbegehrens verhältnismässig wäre, erscheint im Lichte des Ausgeführten insgesamt fraglich. Im Ergebnis kann allerdings der angefochtene Entscheid im folgenden Sinne bestätigt werden: Die Invalidenversicherung übernimmt nur Kosten für eine Ausbildung, die tatsächlich stattfindet (<ref-law>). Soweit ein Praktikum unabdingbar zur Ausbildung gehört, kann diese ohne Praktikumsplatz nicht beendet werden, und zwar unabhängig davon, aus welchen Gründen ein solcher nicht gefunden wurde. Das Gelingen der Eingliederungsmassnahme und damit auch die Leistungserbringung durch die Invalidenversicherung hängen damit von Faktoren ab, die zumindest teilweise ausserhalb des Einflussbereichs der IV-Stelle liegen. Es verhält sich insofern anders als im Rahmen der Arbeitslosenversicherung, wo die Versicherung Leistungen gerade dann zu erbringen hat, wenn eine Anstellung nicht zustande kommt. Im vorliegenden Fall steht fest, dass die begonnene Ausbildung ab ca. April 2006 nicht weitergeführt wurde. Demzufolge war auch das mit den ursprünglichen Kostengutspracheverfügungen zugesprochene Schulgeld nicht weiter zu bezahlen, ebenso wenig die Taggelder, weil darauf nur während der Dauer der effektiv erfolgten Eingliederung Anspruch besteht (<ref-law>). Die Verfügung vom 28. November 2006 und das sie bestätigende angefochtene Urteil sind in diesem Sinne zutreffend; sie sind indessen nicht so zu verstehen, dass damit die Eingliederungsmassnahme endgültig abgebrochen würde. Ebenso wenig wird damit die Weigerung, die Tätowierung abzudecken, als solche sanktioniert, sondern das Nichtantreten eines Praktikumsplatzes, unabhängig davon, aus welchen Gründen dies erfolgt. Ist der Beschwerdeführer weiterhin an der Beendigung der Ausbildung interessiert und findet er einen geeigneten Praktikumsplatz, sei es weil er sich bereit erklärt, die Tätowierungen abzudecken, sei es weil der Praktikumsplatz dies nicht verlangt, so wird die unterbrochene Finanzierung auf der Basis der ursprünglich verfügten Leistungszusprachen weiterzuführen sein. Findet er weiterhin keinen Praktikumsplatz und ist die Ausbildung ohne Praktikum tatsächlich nicht möglich (worüber der angefochtene Entscheid keine ausdrückliche Feststellung enthält), dann bleibt es dabei, dass die Invalidenversicherung keine weiteren Leistungen erbringt, auch wenn das Scheitern des Praktikums darauf zurückzuführen sein sollte, dass alle potenziellen Arbeitgeber den Beschwerdeführer wegen seiner Tätowierungen ablehnen. Ist der Beschwerdeführer weiterhin an der Beendigung seiner begonnen Ausbildung interessiert, hat er sich bei der IV-Stelle zu melden, welche im dargelegten Sinne zusammen mit dem Beschwerdeführer und der Ausbildungsinstitution die Frage des Praktikums und der Beendigung der Ausbildung abzuklären haben wird.
6. Der unterliegende Beschwerdeführer trägt die Kosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird im Sinne der Erwägungen abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Ausgleichskasse des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. Juli 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Nussbaumer