Faits:
A. Les époux A._ et B._ sont domiciliés à Lausanne. Pour la période fiscale 1995-1996, ils ont déclaré un revenu et une fortune imposables de respectivement 40'200 fr. et 0 fr. L'impôt fédéral direct était de 222 fr. pour 1995 et du même montant pour 1996. L'impôt cantonal et communal sur le revenu se montait à 3'138 fr. 25 pour chaque année de ladite période fiscale. Concernant les périodes fiscales 1997-1998, 1999-2000 et 2001-2002, leurs déclarations d'impôt montraient un revenu et une fortune imposables nuls. Des décisions de taxation définitives leur ont été notifiées pour ces périodes, tant pour l'impôt fédéral direct que pour les impôts cantonal et communal. Aucun impôt n'était dû.
B. Le 12 mars 2002, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) a informé les époux A._ et B._ qu'elle ouvrait à leur encontre une procédure de rappel et de soustraction d'impôt pour les périodes 1995-1996 à 2001-2002 s'agissant de l'impôt fédéral direct et des impôts cantonal et communal. Constatant que A._ n'avait pas déclaré, notamment, des revenus provenant d'une activité lucrative indépendante, l'Administration cantonale des impôts, par décision du 10 septembre 2004, a procédé à différentes reprises pour parvenir aux résultats suivants pour l'impôt fédéral direct:
Période fiscale
Revenu imposable (fr.)
Rappel (fr.)
Amende (fr.)
1995-1996
67'200
1'816
1'800
1997-1998
41'800
408
400
1999-2000
43'700
456
400
2001-2002
115'400
8'546
8'500
Concernant l'impôt cantonal et communal les reprises ont abouti aux rappels et amendes suivants:
Période fiscale
Revenu imposable (fr.)
Rappel (fr.):
impôt cantonal et communal sur le revenu | sur la fortune
Amende (fr.) (impôt cantonal et communal)
1995-1996
prescrit
prescrit
prescrit
1997-1998
29'600
6'487.10
1'041.20
7'500
1999-2000
36'300
8'646.20
1'017.80
9'600
2001-2002
116'000
42'376.50
747.70
43'100
Le 2 décembre 2004, l'Administration cantonale des contributions a rejeté la réclamation des époux A._ et B._. Ceux-ci ont attaqué la décision sur réclamation devant le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif).
Ledit Tribunal a rendu un arrêt partiel le 21 juin 2005 portant uniquement sur les rappels d'impôts. Il a rejeté le recours en ce qui concernait l'impôt fédéral direct et l'impôt cantonal et communal sur le revenu. Il l'a par contre admis en tant qu'il avait trait à l'impôt cantonal et communal sur la fortune, renvoyant la cause à l'autorité de taxation "pour instruction et nouvelle décision".
Par arrêt du 8 août 2005 (2A.463/2005), le Tribunal fédéral a rejeté le recours de A._ dans la mesure où il était recevable selon la procédure de l'art. 36a OJ.
Le 1er juillet 2005, l'Administration cantonale des impôts a renoncé à procéder à tous rappels relatifs à la fortune des époux A._ et B._ et a modifié les amendes prononcées le 2 septembre en conséquence, qui ont été fixées uniquement en fonction des impôts sur le revenu soustraits:
Période fiscale
Amende (fr.)
Impôt fédéral direct
Amende (fr.)
Impôt cantonal et communal
1995-1996
1'800
prescrit
1997-1998
400
6'500
1999-2000
400
8'600
2001-2002
8'500
42'400
Les recourants ayant maintenu leur recours contre de la décision de l'Administration cantonale des contributions du 2 décembre 2004 telle que modifiée le 1er juillet 2005, le Tribunal administratif l'a rejeté par arrêt du 12 juillet 2006. Il a retenu en substance que le recourant avait travaillé en tant qu'indépendant dans l'entretien d'immeubles, lors des périodes concernées, pour diverses sociétés et des particuliers et qu'il n'avait pas déclaré les revenus touchés pour cette activité. Les conditions objectives et subjective de la soustraction fiscale étaient remplies et une amende d'une fois le montant d'impôt soustrait était proportionnée à la faute commise, tant pour l'impôt fédéral direct que pour les impôts cantonal et communal des périodes fiscales en cause.
C. Déposant un recours auprès du Tribunal fédéral, sans préciser de quel type de recours il s'agit, A._ conclut à l'annulation de l'arrêt susmentionné du Tribunal administratif. Il estime qu'il n'a pas commis de faute justifiant une amende pour soustraction d'impôt. Il demande l'assistance judiciaire.
Le Tribunal administratif se réfère à son arrêt et conclut au rejet du recours. L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent, sous suite de frais, au rejet du recours.

Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1.1 p. 142).
Le recourant n'a pas indiqué par quelle voie de recours il procède auprès du Tribunal fédéral. Toutefois, cette imprécision ne saurait lui nuire si son recours remplit les exigences légales de la voie de droit qui lui est ouverte (voir, sur le choix erroné d'une voie de recours, <ref-ruling> consid. 1a in fine). Il convient en l'espèce d'examiner si l'acte de recours remplit les conditions de recevabilité du recours de droit administratif et du recours de droit public.
1.1 La loi du 17 juin 2005 sur le Tribunal fédéral (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 p. 1205 ss, p. 1242). L'arrêt attaqué ayant été rendu avant cette date, la procédure reste régie par la loi fédérale du 16 décembre 1943 d'organisation judiciaire (art. 132 al. 1 LTF).
1.2 En tant que l'arrêt attaqué concerne l'impôt fédéral direct, il est fondé sur le droit public fédéral de sorte que la voie du recours de droit administratif est ouverte en vertu des art. 97 ss OJ, ainsi que de la règle particulière de l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD ou la loi sur l'impôt fédéral direct; RS 642.11), entrée en vigueur le 1er janvier 1995.
1.3 En ce qui concerne l'impôt cantonal et communal, conformément à l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (ci-après: LHID ou la loi sur l'harmonisation fiscale; RS 642.14), les décisions de dernière instance cantonale peuvent faire l'objet d'un recours de droit administratif devant le Tribunal fédéral, lorsqu'elles portent sur une matière réglée dans les titres deuxième à cinquième et sixième, chapitre premier de la loi sur l'harmonisation (<ref-ruling> consid. 1 p. 58) et concernent une période dès le 1er janvier 2001, soit à l'échéance du délai laissé aux cantons pour adapter leur législation aux dispositions des titres deuxième à sixième de cette loi (art. 72 al. 1 LHID).
En l'occurrence, l'arrêt attaqué a été rendu en dernière instance par le Tribunal administratif et porte sur une matière traitée par l'art. 56 LHID figurant au titre sixième, chapitre premier de la loi sur l'harmonisation fiscale. En tant que le présent recours concerne l'imposition du recourant pour la période fiscale 2001-2002, soit une période fiscale postérieure au délai de l'art. 72 al. 1 LHID, la voie du recours de droit administratif est ouverte en vertu de l'art. 73 al. 1 LHID (<ref-ruling> consid. 2 p. 591 ss).
1.4 Pour les impôts cantonaux et communaux des périodes fiscales 1997-1998 et 1999-2000, soit des périodes antérieures à 2001, seule est ouverte la voie du recours de droit public pour violation des droits constitutionnels (art. 84 OJ) à l'encontre de l'arrêt du Tribunal administratif qui repose exclusivement sur le droit cantonal.
I. Impôt fédéral direct.
2. Le présent mémoire traité comme recours de droit administratif est irrecevable en tant qu'il s'en prend aux décisions de l'Administration cantonale des impôts, étant donné l'effet dévolutif du recours déposé auprès du Tribunal administratif (<ref-ruling> consid. 2a p. 302/303).
Pour le surplus, déposé en temps utile et dans les formes prescrites par la loi contre un arrêt rendu par une autorité judiciaire statuant en dernière instance cantonale, le recours est recevable.
3. Selon l'art. 175 LIFD, celui qui, intentionnellement ou par négligence, fait en sorte qu'une taxation ne soit pas effectuée alors qu'elle devrait l'être, ou qu'une taxation entrée en force soit incomplète, est puni d'une amende (al. 1). En règle générale, l'amende est fixée au montant de l'impôt soustrait. Si la faute est légère, l'amende peut être réduite jusqu'au tiers de ce montant; si la faute est grave, elle peut au plus être triplée (al. 2).
Pour qu'il y ait soustraction au sens de cette disposition, il faut donc qu'il y ait soustraction d'un montant d'impôt, en violation d'une obligation légale incombant au contribuable et une faute de ce dernier.
3.1 Dans son recours, l'intéressé revendique à nouveau la prise en compte des frais qu'il aurait supportés dans le cadre de son activité indépendante, notamment des frais de matériel et les cotisations sociales pour les ouvriers temporaires qu'il aurait engagés, qui seraient plus élevés que les recettes réalisées de sorte que, pour les années concernées, il aurait subi une perte « globale » de 3'840 fr. 75.
Les rappels d'impôt sur le revenu des périodes fiscales en cause ont fait l'objet de l'arrêt du 21 juin 2005 du Tribunal administratif, lequel a été confirmé par l'arrêt du 8 août 2005 du Tribunal fédéral. Dans la procédure en soustraction, le Tribunal administratif a repris les mêmes montants qu'il a qualifiés de soustraits. Le recourant n'invoque aucun motif qui aurait justifié qu'il ne les déclare pas, tel qu'une erreur ou l'ignorance de certaines recettes. Dès lors, comme l'a retenu à bon droit l'arrêt attaqué, en ne déclarant pas ces montants (27'000 fr. pour la période fiscale 1995-1996, 26'089 fr. pour la période fiscale 1997-1998, 25'308 fr. pour la période fiscale 1999-2000 et 97'416 fr. pour la période fiscale 2001-2002), l'intéressé a indûment diminué son revenu imposable (art. 18 LIFD).
Quant aux frais évoqués, le Tribunal administratif a récapitulé la totalité des montants touchés, qui ont transité sur des comptes en banque détenus par le recourant, et il a déterminé les périodes pour lesquelles ils avaient été obtenus et par qui ils avaient été versés. Ledit Tribunal a tenu compte des frais de matériel attestés par des pièces justificatives et a écarté les autres. Le Tribunal fédéral est dès lors lié par ces faits qui ne sont pas manifestement inexacts ou incomplets (art. 104 lettre b et 105 al. 2 OJ).
3.2 L'art. 124 LIFD prévoit notamment que les contribuables sont invités par publication officielle ou par l'envoi de la formule à remplir et à déposer une formule de déclaration d'impôt (al. 1). Le contribuable doit remplir la formule de déclaration d'impôt de manière conforme à la vérité et complète; il doit la signer personnellement et la remettre à l'autorité compétente avec les annexes prescrites dans le délai qui lui est imparti (al. 2). D'après l'art. 125 al. 2 LIFD, les personnes physiques dont le revenu provient d'une activité lucrative indépendante et les personnes morales doivent joindre à leur déclaration les extraits de comptes signés (bilan, compte de résultats) de la période fiscale ou, à défaut d'une comptabilité tenue conformément à l'usage commercial, un état des actifs et des passifs, un relevé des recettes et des dépenses ainsi que des prélèvements et apports privés.
L'art. 125 al. 2 LIFD ne précise pas ce qu'il faut entendre par "état des actifs et des passifs, relevé des recettes et des dépenses ainsi que des prélèvements et apports privés". Les exigences auxquelles doivent répondre ces états dépendent des circonstances du cas d'espèce, en particulier du type d'activité et de l'ampleur de cette dernière. Dans tous les cas, ils doivent être propres à garantir une saisie complète et fiable du revenu et de la fortune liés à l'activité lucrative indépendante et pouvoir être contrôlés dans des conditions raisonnables par les autorités fiscales (Archives 73 p. 656, 2A.272/2003; Martin Zweifel, in: Martin Zweifel/Peter Athanas, Kommentar zum schweizerischen Steuerrecht, I/2b, Bundesgesetz über die direkte Bundessteuer (DBG), Art. 83-222, n° 30 ss ad art. 125 LIFD p. 260; cf. circulaire n° 2 de l'Administration fédérale des contributions publiée en janvier 1980 sur l'obligation de conserver les documents et pièces justificatives et d'établir des relevés et des états faite aux contribuables exerçant une activité lucrative indépendante, in Archives 48, p. 412).
Le recourant n'a pas mentionné les revenus tirés de son activité lucrative indépendante dans ses déclarations d'impôts pour les périodes fiscales en cause. De plus, il n'a pas déposé d'extraits de comptes avec ses déclarations - sa comptabilité a été établie a posteriori dans le cadre de la procédure de rappel. L'intéressé a donc violé l'obligation de fournir au fisc des informations complètes et conformes à la vérité en vue de sa taxation.
Les conditions objectives de la soustraction fiscale sont réalisées. Il s'agit d'examiner si la condition subjective l'est également.
3.3 L'infraction mentionnée à l'art. 175 al. 1 LIFD doit avoir été commise intentionnellement ou par négligence.
Selon la jurisprudence, la preuve d'un comportement intentionnel doit être considérée comme apportée, en matière de soustraction fiscale, lorsqu'il est établi avec une sécurité suffisante que le contribuable était conscient que les informations qu'il a données étaient incorrectes ou incomplètes. Si cette conscience est établie, il faut présumer qu'il a volontairement voulu tromper les autorités fiscales, ou du moins qu'il a agi par dol éventuel afin d'obtenir une taxation moins élevée; cette présomption ne se laisse pas facilement renverser, car l'on peine à imaginer quel autre motif pourrait conduire un contribuable à fournir au fisc des informations qu'il sait incorrectes ou incomplètes (cf. <ref-ruling> consid. 3a p. 29/30; Archives 63 p. 208 consid. 3 p. 216 et les références).
Le Tribunal administratif a retenu que le recourant a conclu un contrat avec une société pour des travaux de nettoyage et que des décomptes d'honoraires pour des services de conciergerie et d'entretien exécutés en faveur de différents particuliers et sociétés ont été établis en sa faveur. Tous les montants en question ont été versés sur des comptes en banque ouverts au nom du recourant, non déclarés. Même s'il ne dispose pas de compétences particulières en matière fiscale, le recourant devait savoir, comme tous les contribuables, que tous les revenus obtenus dans le cadre d'une activité lucrative doivent être déclarés. Il s'agit d'une connaissance élémentaire que tout un chacun possède, de sorte que l'intéressé devait être conscient que les revenus en cause devaient être reportés dans ses déclarations au même titre que sa rente AI et que les revenus provenant de l'activité exercée par son épouse qu'il déclarait correctement. En agissant tel que décrit ci-dessus, le recourant a agi intentionnellement et non pas seulement par négligence comme il l'admet dans son recours.
3.4 Il reste à examiner la quotité de l'amende. Selon le Tribunal administratif, « il convient d'admettre que l'infraction est objectivement grave, mais d'atténuer les conséquences de cette appréciation, du point de vue subjectif, et d'appliquer le coefficient correspondant à une faute de gravité moyenne ». Il a ainsi confirmé l'amende d'une fois le montant d'impôt soustrait déterminée par l'Administration cantonale des impôts.
L'amende doit être fixée en fonction de la faute commise par le contribuable ainsi que des antécédents et de la situation personnelle de celui-ci (circulaire no 21 du 7 avril 1995 de l'Administration fédérale des contributions sur le droit de rappel d'impôt et le droit pénal fiscal dans la loi sur l'impôt fédéral direct, in RDAF 1996 p. 20 ss no 2.4). Comme l'a retenu le Tribunal administratif, il faut effectivement tenir compte de l'absence d'antécédent, de la situation précaire de l'intéressé, du fait qu'il a admis avoir une activité lucrative (bien qu'il ait maintenu qu'elle ne lui avait rien rapporté) et de sa relative collaboration; ces éléments constituent des circonstances atténuantes. L'invalidité du recourant ne saurait par contre excuser la soustraction commise. Au vu de ce qui précède, une amende d'une fois le montant d'impôt soustrait, telle que retenue par le Tribunal administratif, est une sanction adaptée à la faute commise. L'autorité intimée a dès lors appliqué correctement l'art. 175 al. 2 LIFD.
3.5 Le recourant conteste également l'amende relative à l'impôt sur la fortune. Toutefois, dans sa décision du 1er juillet 2005, l'Administration cantonale des impôts a renoncé aux reprises et aux rappels de l'impôt sur la fortune et a supprimé les amendes y relatives. Le grief du recourant est sans objet.
4. La procédure de soustraction d'impôt relève du droit pénal fiscal au sens de l'art. 6 CEDH qui est applicable (<ref-ruling> consid. 4b p. 264).
Contrairement à ce que soutient le recourant, son droit de garder le silence et sa présomption d'innocence n'ont pas été violés. L'autorité de taxation a découvert chez les sociétés qui mandataient le recourant des renseignements qui ont conduit à l'ouverture d'une procédure en soustraction et, après instruction, les faits étant avérés, à une sanction. L'intéressé a volontairement collaboré durant la procédure (courriers du 28 mars 2002 et du 31 octobre 2003 à l'Administration cantonale des impôts dans lequel il a donné des indications sur ses revenus non déclarés, reconstitué une comptabilité simplifiée avec des pièces justificatives; entretiens du 20 juin et du 13 décembre 2002 où il a fourni différentes informations sur sa situation, notamment sa fortune) et il a été expressément informé de son droit à ne pas s'incriminer (cf. procès-verbal de l'audience de 20 juin 2006 devant le Tribunal administratif). Ainsi, le grief du recourant doit être rejeté.
II. Impôt cantonal et communal.
5. 5.1 S'agissant des périodes fiscales 1997-1998 et 1999-2000, seule la voie du recours de droit public est ouverte.
Déposé en temps utile contre un arrêt final pris en dernière instance cantonale et qui touche le recourant dans ses intérêts juridiquement protégés, le présent recours est en principe recevable à ce titre au regard des art. 84 ss OJ.
5.2 En vertu de l'art. 90 al. 1 lettre b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Lorsqu'il est saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si l'arrêt entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 1.3 p. 261, 26 consid. 2.1 p. 31; <ref-ruling> consid. 4 p. 629).
Le recourant prétend, dans une argumentation identique à celle de son recours de droit administratif, qu'il n'a pas réalisé de bénéfice dans le cadre de son activité et que sa négligence ne suffit pas à constituer une soustraction d'impôt qui est de toute façon excusable au vu de son invalidité.
Le recourant ne dit pas quelles dispositions cantonales - le cas échéant différentes de celles du droit fédéral - auraient été violées. Il se borne à opposer sa propre appréciation du cas d'espèce à celle du Tribunal administratif et ne démontre nullement en quoi l'arrêt attaqué serait arbitraire. Le recours ne contient dès lors pas de motivation conforme aux exigences tirées de l'art. 90 al. 1 OJ et, partant, est irrecevable en tant qu'il concerne les impôts cantonal et communal des périodes fiscales 1997-1998 et 1999-2000.
5.3 Pour la période fiscale 2001-2002, le mémoire recevable en tant que recours de droit administratif a été déposé en temps utile et dans les formes prescrites par la loi et remplit les conditions des art. 103 ss OJ.
6. 6.1 Conformément à l'art. 56 al. 1 LHID, l'art. 242 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (ci-après: LI), en vigueur depuis le 1er janvier 2001, prévoit, notamment, que le contribuable qui, intentionnellement ou par négligence, fait en sorte qu'une taxation ne soit pas effectuée alors qu'elle devrait l'être, ou qu'une taxation entrée en force soit incomplète, est puni d'une amende (al. 1). En règle générale, l'amende est fixée au montant correspondant à l'impôt soustrait. Si la faute est légère, l'amende peut être réduite jusqu'au tiers de ce montant; si la faute est grave, elle peut au plus être triplée (al. 2).
6.2 L'art. 242 LI a la même teneur que l'art. 175 LIFD. Dès lors, les conditions de répression de la soustraction sont identiques. Les considérations développées ci-dessus pour l'impôt fédéral direct (cf. consid. 3) s'appliquent donc également aux impôts cantonal et communal, étant précisé que les dispositions cantonales relatives à l'imposition du produit de l'activité lucrative indépendante (art. 7, 8 et 10 LHID, art. 21 et 31 LI) et au devoir du contribuable (art. 42 LHID, 173 à 175 LI) sont similaires aux dispositions fédérales. Partant, la déclaration d'impôt du recourant mentionnant indûment un revenu imposable insuffisant, les conditions objectives et subjective de la soustraction sont réalisées au regard de l'art. 242 LI.
Les considérations développées ci-dessus pour l'impôt fédéral direct (cf. consid. 3.4) sont également valables pour la quotité de l'amende au niveau cantonal et communal. Ainsi, en confirmant l'amende fixée par l'Administration cantonale des impôts à une fois l'impôt soustrait, pour la période fiscale 2001-2002, en tenant compte des circonstances du cas d'espèce, le Tribunal administratif a fait une application correcte de l'art. 242 LI.
7. Vu ce qui précède, le présent recours traité comme recours de droit administratif est mal fondé, en tant qu'il concerne l'impôt fédéral direct et doit être rejeté. En tant qu'il a trait aux impôts cantonal et communal des périodes fiscales 1997-1998 et 1999-2000, il est irrecevable comme recours de droit public. Portant sur les impôts cantonal et communal de la période fiscale 2001-2002, il doit être rejeté en tant que recours de droit administratif.
Selon l'art. 152 OJ, le Tribunal fédéral peut accorder l'assistance judiciaire à une partie à condition que celle-ci soit dans le besoin et que ses conclusions ne paraissent pas d'emblée vouées à l'échec. Or, la procédure entreprise devant le Tribunal fédéral n'avait manifestement aucune chance de succès (<ref-ruling> consid. 2.2 p. 133), de sorte que, l'une des conditions précitées faisant défaut, la demande présentée par le recourant doit être rejetée.
Succombant, le recourant doit supporter l'émolument judiciaire (art. 156 al. 1, 153 et 153a OJ). Il n'a pas droit à des dépens (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct.
2. Le recours est rejeté, dans la mesure où il est recevable, en tant qu'il concerne les impôts cantonaux et communaux.
3. La demande d'assistance judiciaire est rejetée.
4. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
5. Le présent arrêt est communiqué en copie au recourant, à l'Administration cantonale des impôts et au Tribunal administratif du canton de Vaud ainsi qu'à l'Administration fédérale des contributions, Division juridique de l'impôt fédéral direct.
Lausanne, le 24 avril 2007
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: La greffière: