Sachverhalt:
A. X._ führte zwischen dem 3. Mai 2005 und 11. Oktober 2005 am Einfamilienhaus der altersdementen A._ (geb. 1924) Spenglerarbeiten im Wert von höchstens Fr. 4'000.-- aus. Er veranlasste die Frau, ihm den Werklohn mehrmals auszubezahlen, auf welche Weise er insgesamt Fr. 42'100.-- erlangte.
B. Am 2. Mai 2007 verurteilte das Kantonsgericht Glarus X._ wegen gewerbsmässigen Wuchers zu einer unbedingten Freiheitsstrafe von 18 Monaten. Zudem erklärte es eine am 27. Januar 2005 vom Amtsgericht Olten-Gösgen ausgefällte Freiheitsstrafe von 15 Monaten als vollziehbar. Das Obergericht des Kantons Glarus wies die von X._ erhobene Appellation am 3. Dezember 2007 ab.
C. X._ erhebt Beschwerde in Strafsachen und beantragt, der angefochtene Entscheid des Obergerichtes des Kantons Glarus sei aufzuheben, und er sei insgesamt mit einer jedenfalls teilbedingten Gesamtstrafe von maximal 25 Monaten zu bestrafen (6 Monate unbedingt und 19 Monate bedingt). Eventualiter sei eine gegenüber den aufzuhebenden Urteilen reduzierte Freiheitsstrafe von maximal 10 Monaten unter Gewährung des bedingten Strafvollzugs auszufällen oder auf den Vollzug der mit Urteil des Amtsgerichtes Olten-Gösgen ausgefällten Freiheitsstrafe zu verzichten. X._ stellt im Übrigen das Gesuch um unentgeltliche Rechtspflege.
D. Das Obergericht des Kantons Glarus beantragt die Abweisung der Beschwerde. Die Staatsanwaltschaft hat sich nicht vernehmen lassen.

Erwägungen:
1. Die Beschwerde richtet sich gegen die vorinstanzliche Strafzumessung, die Verweigerung des bedingten Strafvollzugs sowie den Widerruf des bedingten Strafvollzugs.
2. 2.1 Der Beschwerdeführer macht geltend, die Vorinstanz hätte bei der Strafzumessung seinen Lebensstil als Fahrender bzw. das Handicap als Aussenseiter zu seinen Gunsten in die Waagschale werfen müssen. Zudem habe sie bundesrechtswidrig die Vorstrafe als sogar erheblich straferhöhend gewürdigt, obwohl Vorstrafen nur unter engen Voraussetzungen zur Erhöhung der Strafe führen sollten. Denn ein vorbestrafter Täter als haltlose, antriebs- und willensschwache und häufig sogar gestörte Persönlichkeit sei oft unfähig, einschlägige Erfahrungen angemessen zu verarbeiten. Zudem rügt der Beschwerdeführer, dass sein mittlerweile rund zweieinhalbjähriges Wohlverhalten nicht gebührend berücksichtigt worden sei. Auch das Geständnis hätte sich nach seiner Auffassung stärker strafmindernd auswirken müssen. Schliesslich habe die Vorinstanz klar gegen das Doppelverwertungsverbot verstossen. Es sei bundesrechtswidrig zu argumentieren, das Verschulden sei deshalb als schwer einzustufen, weil er gezielt eine alleinstehende, alte und geistig beeinträchtigte Person als Opfer für seine Machenschaften ausgesucht und diese wehrlose und nichts Unrechtes ahnende Rentnerin auf hinterlistige Weise geschädigt habe. Desgleichen sei unzulässig, ihm vorzuwerfen, er habe skrupellos eine unbeholfene, allein lebende Seniorin über mehrere Monate hinweg ausgebeutet. Denn diese Merkmale seien gerade Merkmal des (gewerbsmässigen) Wuchers. Damit habe die Vorinstanz Tatbestandsmerkmale des <ref-law> doppelt verwertet und deshalb bundesrechtswidrig gegen das Verbot der Doppelverwertung verstossen. Zusammenfassend sei eine Freiheitsstrafe von 18 Monaten klar zu hoch ausgefallen. Das ergebe sich auch daraus, dass der Deliktsbetrag im vorliegenden Fall rund die Hälfte desjenigen betrage, der mit Urteil des Amtsgerichtes Olten-Gösgen am 27. Januar 2005 zu einer Freiheitsstrafe von 15 Monaten geführt habe.
2.1.1 Die Vorinstanz geht bei der Strafzumessung von einem schweren Verschulden aus. Der Beschwerdeführer habe auf seiner Tour als Fahrender gezielt eine alleinstehende, alte und geistig beeinträchtigte Person als Opfer für seine Machenschaften ausgesucht. Über ein halbes Jahr lang habe er die erheblich demente und daher wehrlose und nichts Unrechtes ahnende Rentnerin auf hinterlistige Weise geschädigt und dabei einen Deliktsbetrag von Fr. 38'100.-- angehäuft. Ein solches Verhalten sei ebenso verwerflich wie gemein. Es stehe ausser Frage, dass der Beschwerdeführer sein Treiben fortgesetzt hätte, wenn im Oktober 2005 der Tochter der Geschädigten nicht aufgefallen wäre, dass ihre Mutter wiederholt hohe Beträge vom Bankkonto abgehoben hatte. Der Beschwerdeführer habe sodann die Quittungen mit falschen und unterschiedlichen Namen unterzeichnet, worin sich zusätzlich ein erhebliches kriminelles Potenzial zeige. Denn damit habe er einerseits bewusst Spuren verwischt und anderseits die geistig eingeschränkte Geschädigte noch weiter in die Irre geführt. Als Beweggrund für das deliktische Tun des Beschwerdeführers sei Bequemlichkeit auszumachen. Es sei ihm offensichtlich gelegen gekommen, damit seinen unangemessenen Lebenswandel zu finanzieren, ohne den Druck, sich fortwährend um neue Arbeitsaufträge kümmern zu müssen. Zudem habe er sich im Dezember 2005 einen Flug nach Kolumbien geleistet, wo er dann bis März 2006 geblieben sei. Erheblich straferhöhend falle ins Gewicht, dass der Beschwerdeführer eine einschlägige Vorstrafe aufweise, wobei er erst noch während laufender Probezeit rückfällig geworden sei. Nur gerade gut drei Monate, nachdem er vom Amtsgericht Olten-Gösgen wegen gewerbsmässigen Wuchers zu einer bedingten Freiheitsstrafe von 15 Monaten verurteilt worden war, sei er erneut nach gleichem Muster vorgegangen. Wiederum habe er skrupellos über mehrere Monate hinweg eine unbeholfene, allein lebende Seniorin ausgebeutet. Und wie schon zuvor im Kanton Solothurn habe er seine Identität durch das Ausstellen falscher Quittungen verschleiert. Strafmindernd sei das umfassende Geständnis des Beschwerdeführers zu werten, wobei dessen Bedeutung insofern zu relativieren sei, als das Ausmass des strafbaren Verhaltens bereits durch die polizeilichen Ermittlungen weitgehend erstellt gewesen sei. Die Vorinstanz hält schliesslich fest, ein Strafvollzug sei dem Beschwerdeführer im Hinblick auf seine berufliche Integrität nicht abträglich. Er verfüge weder in beruflicher noch in sozialer Hinsicht über stabile Verhältnisse, die durch einen längeren Strafvollzug übermässig erschüttert würden. Es sei im Gegenteil nicht auszuschliessen, dass er im Strafvollzug überhaupt zum ersten Mal die Möglichkeit erlange, sich profunde berufliche Fähigkeiten anzueignen, welche ihm alsdann den Einstieg in ein geordnetes Berufsleben und damit sein wirtschaftliches Fortkommen erleichtern würden.
2.1.2 Diese Ausführungen der Vorinstanz halten sich im Rahmen des <ref-law> und sind entgegen der Auffassung des Beschwerdeführers nicht zu beanstanden. Aufgrund der aufgezählten Kriterien durfte die Vorinstanz das Verschulden als schwer einstufen. Sie hat dabei entgegen der Rüge des Beschwerdeführers nicht gegen das Doppelverwertungsverbot verstossen. Im angefochtenen Urteil werden im Rahmen der Strafzumessung nicht einfach die Umstände aufgeführt, welche die Tatbestandsmässigkeit des gewerbsmässigen Wuchers nach Art. 157 Ziff. 1 und 2 StGB begründen. Die Vorinstanz lässt sich vielmehr weitgehend über das Ausmass dieser Merkmale aus, wozu sie im Rahmen der Verschuldensbewertung auch verpflichtet ist (vgl. <ref-ruling> E. 2b S. 72 mit Hinweis). Es ist nicht einsichtig, weshalb das Verschulden des Beschwerdeführers geringer sein soll, bloss weil er in einem "Zigeuner-Milieu" aufgewachsen ist. Auch wenn es ihm nicht möglich war, eine Berufsausbildung zu absolvieren, ist nicht dargetan, inwieweit dieser Umstand die heute zu beurteilende Delinquenz beeinflusst hat. Die Vorinstanz durfte auch die einschlägige Vorstrafe unter den gegebenen Umständen erheblich straferhöhend berücksichtigen. Aus dem angefochtenen Urteil ergibt sich nicht, dass der Beschwerdeführer "haltlos, antriebs- und willensschwach" oder gar in der "Persönlichkeit gestört" und damit unfähig wäre, "einschlägige Erfahrungen angemessen zu verarbeiten". Dass er sich seit der letzten Tat wohlverhalten hat, kann ihm angesichts des hängigen Strafverfahrens nicht zu seinen Gunsten angerechnet werden. Vielmehr hätte sich umgekehrt eine erneute Delinquenz in dieser - doch eher kurzen - Zeit spürbar straferhöhend auswirken müssen. Nicht zu beanstanden ist im Weiteren, wenn die Vorinstanz das Geständnis des Beschwerdeführers nur leicht strafmindernd anrechnet, nachdem das strafbare Verhalten bereits durch die polizeiliche Ermittlung weitgehend erstellt war. Dass mit dem Geständnis auch dem Opfer gedient wird, indem namentlich keine unangenehme Konfrontation nötig ist, kann nicht weitergehend zum Tragen kommen.
Bei einem ordentlichen Strafrahmen von einem Jahr bis zu zehn Jahren Freiheitsstrafe (<ref-law>) liegt die ausgesprochene Strafe von 18 Monaten innerhalb des grossen Ermessens, welches der Vorinstanz zukommt. Sie ist deshalb nicht bundesrechtswidrig. Der Vergleich mit dem Urteil des Amtsgerichtes Olten-Gösgen, welches bei ähnlichen Tatumständen, aber höherem Deliktsbetrag lediglich mit 15 Monaten bestrafte, ist bereits deshalb verfehlt, weil die heutige Strafe wegen des schwerwiegenden Rückfalles zu erhöhen ist.
Zusammengefasst erweisen sich sämtliche Rügen, die sich gegen die Strafzumessung der Vorinstanz richten, als unbegründet.
2.2 Der Beschwerdeführer macht geltend, die Vorinstanz schiesse unnötigerweise über das Ziel hinaus, indem sie sowohl die neue Freiheitsstrafe unbedingt ausspreche als auch die bedingte Vorstrafe vom 27. Januar 2005 für vollziehbar erkläre. Damit nehme sie seine härtestmögliche Bestrafung vor. Obschon er Zigeuner sei und als solcher von Anfang an schwierige Voraussetzungen gehabt habe, sei er im vorliegenden Verfahren erstmals überhaupt in Untersuchungshaft gesetzt worden und habe bislang noch keine Freiheitsstrafe verbüssen müssen. Seither habe er sich nichts mehr zuschulden kommen lassen, habe zwischenzeitlich geheiratet und sei sesshaft geworden, weshalb ihm eine gute Zukunftsprognose gestellt werden könne. Schon das Prinzip der Verhältnismässigkeit rechtfertige es nicht, gleich zwei Freiheitsstrafen für vollziehbar zu erklären. Das bisherige Strafverfahren und der Vollzug höchstens einer Strafe genüge vollauf, damit er nicht mehr straffällig werde. Komme das neue Recht zur Anwendung, so seien nicht einfach beide Strafen zu vollziehen, sondern es sei gemäss <ref-law> entweder auf den Widerruf der 15-monatigen Vorstrafe zu verzichten oder es sei wenigstens der bedingte Vollzug für die neue Strafe zu gewähren oder es sei für beide Strafen eine (teilbedingte) Gesamtstrafe festzusetzen. Die Vorinstanz verkenne in bundesrechtswidriger Weise, dass bei der Frage des Widerrufs nicht einmal "besonders günstige Umstände" wie bei der Gewährung des bedingten Strafvollzugs für den nach <ref-law> vorbelasteten Täter vorliegen müssen. Nach Auffassung des Beschwerdeführers übersieht die Vorinstanz aber auch, dass ihm durchaus "besonders günstige Umstände" attestiert werden könnten, nachdem er nun sesshaft geworden und sich über längere Zeit wohlverhalten habe.
2.2.1 Die Vorinstanz begründet die Verweigerung des bedingten Strafvollzugs damit, dass keine besonders günstigen Umstände im Sinne von <ref-law> vorlägen. Der Beschwerdeführer sei in keiner Hinsicht gefestigt, verfüge über keine tragfähigen Sozialstrukturen, betätige sich nach wie vor als Hausierer und lebe ohne finanzielle Reserven. Es stünde daher, liesse man ihn in Freiheit einfach so weiterfahren, ernstlich zu befürchten, dass er bald wieder auf eine schiefe Ebene geraten würde. Deshalb sei auch ein nur teilweiser Aufschub im Sinne von <ref-law> ausgeschlossen. Mit nichts lasse sich die Erwartung begründen, dass ein blosser Teilvollzug den Beschwerdeführer derart beeindrucken liesse, um in Zukunft keine schwer wiegenden Delikte mehr zu begehen.
2.2.2 Wurde der Täter innerhalb der letzten fünf Jahre vor der Tat zu einer bedingten oder unbedingten Freiheitsstrafe von mindestens sechs Monaten verurteilt, so ist der Aufschub nur zulässig, wenn besonders günstige Umstände vorliegen (<ref-law>). Darunter sind solche Umstände zu verstehen, die ausschliessen, dass die Vortat die Prognose verschlechtert. Bei <ref-law> gilt demnach die Vermutung einer günstigen Prognose bzw. des Fehlens einer ungünstigen Prognose nicht. Vielmehr kommt der früheren Verurteilung zunächst die Bedeutung eines Indizes für die Befürchtung zu, dass der Täter weitere Straftaten begehen könnte. Die Gewährung des bedingten Strafvollzuges kommt daher nur in Betracht, wenn eine Gesamtwürdigung aller massgebenden Faktoren den Schluss zulässt, dass trotz der Vortat eine begründete Aussicht auf Bewährung besteht. Dabei ist zu prüfen, ob die indizielle Befürchtung durch die besonders günstigen Umstände zumindest kompensiert wird. Das trifft etwa zu, wenn die neuerliche Straftat mit der früheren Verurteilung in keinerlei Zusammenhang steht, oder bei einer besonders positiven Veränderung in den Lebensumständen des Täters. Jedenfalls ist bei eindeutig günstiger Prognose der Strafaufschub stets zu gewähren. Die Vorschrift von <ref-law> stellt klar, dass der Rückfall für sich genommen den bedingten Strafvollzug nicht auszuschliessen vermag, im Gegensatz zum früheren Recht (Art. 41 Ziff. 1 Abs. 2 aStGB). Danach war der Aufschub unzulässig, wenn der Verurteilte innerhalb der letzten fünf Jahre vor der Tat wegen eines vorsätzlich begangenen Verbrechens oder Vergehens eine Freiheitsstrafe von mehr als drei Monaten verbüsst hat. Die neue Regelung begünstigt den bedingten Strafvollzug damit in zweifacher Hinsicht. Zum einen ist das Strafmass, das gegen eine günstige Prognose spricht, praktisch verdoppelt worden (auf sechs Monate). Zum anderen stellt selbst die Verurteilung von dieser Tragweite keinen objektiven Ausschlussgrund mehr dar, sondern ist in jedem Fall in die Prognosebildung miteinzubeziehen (<ref-ruling> E. 4.2.3 S. 6 f. mit Hinweisen).
2.2.3 Im Lichte dieser Rechtsprechung durfte die Vorinstanz dem Beschwerdeführer die Gewährung des bedingten Strafvollzugs verweigern. Der Umstand, dass dieser nur gerade drei Monate nach seiner Verurteilung zu einer bedingten Strafe erneut auf die gleiche Art straffällig wurde, schliesst es aus, besonders günstige Umstände anzunehmen. Die vorinstanzliche Befürchtung, der Beschwerdeführer - der nach ihrer verbindlichen Feststellung über keine tragfähige Sozialstruktur verfügt und ohne finanzielle Reserven lebt - werde erneut straffällig, ist bundesrechtlich nicht zu beanstanden. Die entsprechende Rüge ist unbegründet.
2.2.4 Nach Auffassung der Vorinstanz ist der Widerruf des bedingten Vollzugs hinsichtlich der früheren Freiheitsstrafe zweifelsohne angezeigt. Denn in Anbetracht der Höhe der neuen Bestrafung zu einer Freiheitsstrafe von 18 Monaten brauche es besonders günstige Umstände, damit vom Widerruf Umgang genommen werden dürfe. Davon könne im hier zu beurteilenden Fall keine Rede sein. Namentlich der Umstand, dass der Beschwerdeführer nur wenige Wochen nach seiner Verurteilung in Solothurn von neuem auf hinterhältige Weise einen alten hilflosen Menschen schädigte, sowie die Tatsache, dass er sich nach wie vor in der gleichen Lebenssituation befinde wie damals, würden eine günstige Prognose ausschliessen.
2.2.5 Begeht der Verurteilte während der Probezeit ein Verbrechen oder Vergehen und ist deshalb zu erwarten, dass er weitere Straftaten verüben wird, so widerruft das Gericht die bedingte Strafe oder den bedingten Teil der Strafe (<ref-law>). Ist nicht zu erwarten, dass der Verurteilte weitere Straftaten begehen wird, so verzichtet das Gericht auf einen Widerruf. Es kann den Verurteilten verwarnen oder die Probezeit um höchstens die Hälfte der im Urteil festgesetzten Dauer verlängern (<ref-law>). Die Begehung eines Verbrechens oder Vergehens während der Probezeit bildet also - wie schon unter altem Recht - einen möglichen Widerrufsgrund. Die neu begangene Straftat muss dabei eine gewisse Mindestschwere aufweisen, nämlich mit Freiheits- oder Geldstrafe bedroht sein (vgl. <ref-law>). Allerdings führt ein während der Probezeit begangenes Verbrechen oder Vergehen nicht zwingend zum Widerruf des bedingten Strafaufschubs. Dieser soll nach <ref-law> nur erfolgen, wenn "deshalb", also wegen der Begehung des neuen Delikts, zu erwarten ist, dass der Täter weitere Straftaten verüben wird. Das heisst, dass die Prognose seines künftigen Legalverhaltens in einem solchen Fall erneut gestellt werden muss. Dabei steht dem Richter ein Ermessensspielraum zu. In diesen greift das Bundesgericht nur ein, wenn der Richter sein Ermessen über- bzw. unterschreitet oder missbraucht und damit Bundesrecht verletzt (<ref-ruling>40 E. 4.2 S. 142 f. mit Hinweisen).
In die Beurteilung der Bewährungsaussichten im Falle des Widerrufs des bedingten Strafvollzugs einer Freiheitsstrafe ist im Rahmen der Gesamtwürdigung auch miteinzubeziehen, ob die neue Strafe bedingt oder unbedingt ausgesprochen wird. Der Richter kann zum Schluss kommen, dass vom Widerruf des bedingten Vollzugs für die frühere Strafe abgesehen werden kann, wenn die neue Strafe vollzogen wird. Auch das Umgekehrte ist zulässig: Wenn die frühere Strafe widerrufen wird, kann unter Berücksichtigung ihres nachträglichen Vollzugs eine Schlechtprognose für die neue Strafe im Sinne von <ref-law> verneint und diese folglich bedingt ausgesprochen werden. Besonders günstige Umstände, wie sie <ref-law> für den bedingten Strafaufschub bei entsprechender Vorverurteilung verlangt, sind für den Widerrufsverzicht nicht erforderlich. Das heisst allerdings nicht, dass es im Rahmen von <ref-law> auf die neue Tat und die daraus resultierende Strafe überhaupt nicht ankommen würde. Art und Schwere der erneuten Delinquenz bleiben vielmehr auch unter neuem Recht für den Entscheid über den Widerruf von Bedeutung, insoweit nämlich, als das im Strafmass für die neue Tat zum Ausdruck kommende Verschulden Rückschlüsse auf die Legalbewährung des Verurteilten erlaubt. Insoweit lässt sich sagen, dass die Prognose für den Entscheid über den Widerruf umso eher negativ ausfallen kann, je schwerer die während der Probezeit begangenen Delikte wiegen (<ref-ruling>40 E. 4.5 S. 144 f. mit Hinweisen).
2.2.6 Die Vorinstanz geht entgegen der aufgezeigten bundesgerichtlichen Praxis davon aus, es bedürfe - um von einem Widerruf abzusehen - besonders günstiger Umstände, die beim Beschwerdeführer nicht vorliegen würden. Sie geht in ihrem Entscheid namentlich nicht darauf ein, ob der Vollzug der neuen Strafe allenfalls eine günstige Wirkung auf den Beschwerdeführer haben kann, so dass sich bei einer Gesamtwürdigung eine Schlechtprognose nicht mehr begründen liesse. Indem sich die Vorinstanz mit dieser Frage nicht auseinandersetzt, verletzt sie <ref-law>. Die entsprechende Rüge ist begründet.
2.2.7 Entgegen der Auffassung des Beschwerdeführers wäre bei ei-nem Widerruf des bedingten Strafvollzugs keine Gesamtstrafe im Sinne von <ref-law> zu bilden. Eine solche kommt nur in Betracht, wenn die beiden Strafarten nicht gleichartig sind (Urteil 6B_538/2007 E. 4.4 vom 2. Juni 2008; zur Publikation bestimmt), was im vorliegenden Fall nicht zutrifft.
3. Die Beschwerde ist deshalb teilweise gutzuheissen, der Entscheid der Vorinstanz vom 3. Dezember 2007 aufzuheben und die Sache zur neuen Entscheidung zurückzuweisen. Im Übrigen ist sie abzuweisen. Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer reduzierte Gerichtskosten zu bezahlen (<ref-law>) und hat ihm der Kantons Glarus eine reduzierte Parteientschädigung auszurichten (<ref-law>), die dem Rechtsvertreter zuzusprechen ist. Soweit das Gesuch um unentgeltliche Rechtspflege infolge des teilweisen Obsiegens nicht gegenstandslos wird, ist es wegen Aussichtslosigkeit abzuweisen (<ref-law>). Der finanziellen Lage des Beschwerdeführers ist mit einer Herabsetzung der üblichen Gerichtskosten Rechnung zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen, der Entscheid des Obergerichtes des Kantons Glarus vom 3. Dezember 2007 aufgehoben und die Sache zur neuen Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen, soweit es nicht gegenstandslos geworden ist.
3. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4. Der Kanton Glarus hat dem Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 1'500.-- auszurichten.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Glarus schriftlich mitgeteilt.
Lausanne, 24. September 2008
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Schneider Binz