Faits:
A. Depuis le 1er janvier 2006, X._ a perçu le revenu d'insertion introduit par la loi du 2 décembre 2003 sur l'action sociale vaudoise (LASV; RSV 850.051). Le 11 avril 2008, son compte bancaire a été crédité d'un montant de quelque 121'000 francs. X._ n'a indiqué la perception de ce montant ni dans le formulaire annonçant ses revenus et sa situation de fortune à l'attention du Centre social régional signé le 15 avril 2008, ni dans celui signé le 15 mai 2008. Interpellé, il a déclaré, le 23 août 2009, renoncer au revenu d'insertion pour l'avenir.
B. Le 11 août 2011, le Préfet du district de Morges a rendu une ordonnance de classement, estimant que la faute n'était pas prouvée.
Par courrier du 29 août 2011, le Ministère public a déclaré ne pas approuver cette décision et requis la condamnation de X._ pour contravention au sens de l'art. 75 LASV. Par ordonnance pénale du 6 septembre 2011, le Préfet du district de Morges a condamné X._ à une amende de 1'000 fr. pour infraction à la LASV.
Sur opposition de X._, le Tribunal de police de l'arrondissement de la Côte a, par jugement du 27 février 2012, libéré ce dernier de l'accusation de contravention à la LASV. Cette autorité a laissé les frais à la charge de l'Etat, mais refusé d'allouer une indemnité au sens de l'<ref-law> à X._.
C. Par jugement du 4 avril 2012, le Président de la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._, confirmé le dispositif du jugement du 27 février 2012 et mis les frais d'appel à la charge de X._.
D. Ce dernier forme un recours en matière pénale. Il conclut à la réforme des jugements des instances précédentes en ce sens qu'une indemnité et des dépens d'appel lui sont accordés et les frais d'appel laissés à la charge de l'Etat. Subsidiairement, il requiert la réforme de ces jugements en ce sens que son avocat est désigné comme défenseur d'office et se voit accorder une indemnité fondée sur ses listes d'opérations. A titre plus subsidiaire, il conclut à l'annulation du jugement du 4 avril 2012 et au renvoi de la cause à l'autorité précédente pour nouveau jugement. Enfin, il sollicite l'assistance judiciaire pour la procédure auprès du Tribunal fédéral.
Aucun échange d'écritures n'a été ordonné.

Considérant en droit:
1. Le recours porte principalement sur le refus d'accorder au recourant, malgré son acquittement, une indemnité au sens de l'<ref-law>. La voie du recours en matière pénale est par conséquente ouverte (<ref-ruling> consid. 1.1.1 p. 45).
2. Le recourant invoque une violation des art. 429 et 430 CPP de même que de la présomption d'innocence.
2.1 Aux termes de l'<ref-law>, si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. L'autorité pénale peut toutefois réduire ou refuser l'indemnité si le prévenu a provoqué illicitement et fautivement l'ouverture de la procédure ou a rendu plus difficile la conduite de celle-ci (<ref-law>).
2.2 Le recourant n'a pas bénéficié de l'assistance judiciaire sur le plan cantonal, de sorte qu'une indemnité selon l'<ref-law> réservée à un avocat de choix est susceptible d'entrer en considération (cf. arrêt 6B_753/2011 du 14 août 2012 consid. 1 destiné à la publication).
2.3 La condamnation d'un prévenu acquitté à supporter tout ou partie des frais doit respecter la présomption d'innocence, consacrée par les art. 32 al. 1 Cst. et 6 par. 2 CEDH. Celle-ci interdit de rendre une décision défavorable au prévenu libéré en laissant entendre que ce dernier serait néanmoins coupable des infractions qui lui étaient reprochées. Une condamnation aux frais n'est ainsi admissible que si le prévenu a provoqué l'ouverture de la procédure pénale dirigée contre lui ou s'il en a entravé le cours. A cet égard, seul un comportement fautif et contraire à une règle juridique, qui soit en relation de causalité avec les frais imputés, entre en ligne de compte (<ref-ruling> consid. 1b p. 334; <ref-ruling> consid. 2c p. 168). Ces considérations valent mutatis mutandis lorsque le tribunal refuse d'allouer une indemnité au prévenu en cas de procédure se soldant sans condamnation (cf. <ref-ruling> consid. 1a p. 310; arrêt 6B_215/2007 du 2 mai 2008 consid. 6).
Pour déterminer si le comportement en cause est propre à justifier l'imputation des frais ou le refus d'une indemnité, le juge peut prendre en considération toute norme de comportement écrite ou non écrite résultant de l'ordre juridique suisse pris dans son ensemble, dans le sens d'une application par analogie des principes découlant de l'<ref-law> (<ref-ruling> consid. 1b p. 334; <ref-ruling> consid. 2c p. 169). Le fait reproché doit constituer une violation claire de la norme de comportement (<ref-ruling> consid. 1b p. 334; <ref-ruling> consid. 2d p. 171). L'acte répréhensible n'a pas à être commis intentionnellement. La négligence suffit, sans qu'il soit besoin qu'elle soit grossière (<ref-ruling> consid. 4a p. 163 s.). L'acte répréhensible doit en outre se trouver dans une relation de causalité adéquate avec l'ouverture de l'enquête ou les obstacles mis à celle-ci. Tel est notamment le cas lorsque le comportement du prévenu, violant clairement des prescriptions écrites cantonales, était propre à faire naître, selon le cours ordinaire des choses et l'expérience de la vie, le soupçon d'un comportement punissable justifiant l'ouverture d'une enquête pénale (ATF <ref-ruling> consid. 2c p. 170). Enfin, une condamnation aux frais ne peut se justifier que si, en raison du comportement illicite du prévenu, l'autorité était légitimement en droit d'ouvrir une enquête. Elle est en tout cas exclue lorsque l'autorité est intervenue par excès de zèle, ensuite d'une mauvaise analyse de la situation ou par précipitation (ATF <ref-ruling> consid. 2c p. 171).
Sur la base des principes précités, la jurisprudence a régulièrement admis qu'un comportement contraire à une disposition légale peut, sans violation de la présomption d'innocence, être retenu pour justifier la mise à charge des frais, respectivement le refus d'indemnité, même si l'action pénale pour l'infraction correspondante n'a pas abouti à une condamnation (cf. arrêts 6B_143/2010 du 22 juin 2010 consid. 3.1; 1P.584/2006 du 22 décembre 2006 consid. 9.3; 1P.543/2001 du 1er mars 2002 consid. 1.2).
2.4 Aux termes de l'art. 75 LASV, celui qui aura trompé l'autorité par des déclarations inexactes, aura omis de lui fournir les informations indispensables ou ne lui aura pas fourni les informations par elle requises est passible d'une amende de dix mille francs au plus (al. 1). Tout autre contravention à la LASV, ses dispositions d'exécution ou des décisions fondées sur celles-ci est également sanctionnée de cette peine (al. 2).
2.5 En l'espèce, l'autorité précédente a estimé que l'action pénale fondée sur l'art. 75 LASV était prescrite. Elle a justifié le refus d'accorder une indemnité fondée sur l'<ref-law> au recourant en arguant qu'il avait violé son obligation de signaler sans retard tout changement de sa situation économique, obligation imposée notamment par l'art. 38 LASV (jugement entrepris, ch. 3 p. 5).
En vertu de cette disposition, la personne qui sollicite une aide est tenue de fournir des renseignements complets sur sa situation personnelle et financière et d'autoriser l'autorité compétente à prendre des informations à son sujet. Elle doit signaler sans retard tout changement de sa situation pouvant entraîner la réduction ou la suppression des prestations (art. 38 al. 1 LASV dans sa teneur en vigueur en avril 2008; art. 38 al. 1 et 4 LASV dans sa teneur en vigueur depuis le 1er janvier 2010).
A juste titre, le recourant ne conteste pas avoir violé les obligations imposées par cette disposition, dans la mesure où il a omis de signaler la réception puis le sort donné au capital de plus de 121'000 fr. crédité sur son compte bancaire. Comme l'a retenu l'autorité précédente, cette violation était fautive. Le recourant a en effet reçu un montant important mais a malgré tout signé une déclaration de revenu ne l'indiquant pas. Sollicité de fournir des informations, il n'y a jamais donné suite, indiquant uniquement renoncer au revenu d'insertion pour l'avenir. L'omission était donc intentionnelle, tout au moins relevait de la négligence grossière. Il est également évident que la violation par le recourant d'annoncer un capital aussi important, de manière répétée puisqu'il n'a fourni d'information sur ce point ni dans les formulaires signés les mois suivants ni sur interpellation de l'office compétent en 2009, était propre à provoquer l'ouverture de la procédure pénale. Que celle-ci, à la suite de l'ordonnance de classement initiale, ait été reprise en raison du refus du Ministère public d'approuver cette décision n'y change rien: c'est bien le comportement du recourant contraire à son obligation d'informer qui a justifié l'ouverture, respectivement la reprise et la continuation de la procédure.
2.6 Contrairement à ce que soutient le recourant, la procédure pénale, reprise le 29 août 2011 en raison du refus du Ministère public d'approuver l'ordonnance de classement rendue le 11 août 2011, n'était pas vaine. La contravention réprimée par l'art. 75 LASV se prescrit par trois ans (art. 75 al. 3 LASV renvoyant à la loi vaudoise sur les contraventions [RSV 312.11] qui renvoie elle-même à l'<ref-law>). Le recourant était bénéficiaire du revenu d'insertion jusqu'au 23 août 2009, date à laquelle il a indiqué qu'il y renonçait. Jusqu'à cette date au moins, il devait, en vertu de l'art. 38 LASV, fournir des renseignements complets sur sa situation financière et autoriser l'autorité compétente à prendre des informations à son sujet. Non seulement le recourant n'a pas déclaré le montant lors de sa réception dans les formulaires idoines. Il ne l'a pas non plus fait par la suite et a notamment omis de fournir les justificatifs y afférents lorsqu'il a été interpellé à ce sujet le 5 août 2009. Lors de la reprise de cause, le 29 août 2011, la contravention consistant à ne pas avoir fourni les informations imposées par la loi n'était donc pas prescrite. Cette situation justifiait la continuation de la procédure pénale.
2.7 Il résulte de ce qui précède que les conditions posées par la jurisprudence pour justifier un refus d'indemnité sans violer la présomption d'innocence (cf. supra consid. 2.3) sont réalisées. L'autorité pénale pouvait, sans violer les art. 429 et 430 CPP, refuser d'accorder au recourant une indemnité car il avait provoqué illicitement et fautivement l'ouverture de la procédure (<ref-law>). Que le recourant n'ait pas été condamné pour la contravention visée par l'art. 75 LASV n'empêchait pas qu'une indemnité lui soit refusée au motif qu'il avait violé l'art. 38 LASV.
2.8 Le recourant invoque l'<ref-ruling> consid. 2.4.2 p. 357. Selon cet arrêt, la question de l'indemnisation suit en principe celle des frais. Ainsi lorsque ceux-ci sont mis à la charge de l'Etat, le prévenu peut en règle générale prétendre au versement d'une indemnité au sens de l'<ref-law>.
Le recourant a de manière illicite et fautive provoqué l'ouverture de la procédure pénale. Conformément à l'<ref-law>, tout ou partie des frais de procédure auraient pu être mis à sa charge. Compte tenu de l'interdiction de la reformatio in pejus, ce point ne peut être ici revu. Dans de telles circonstances, le recourant ne peut toutefois invoquer la mise des frais à la charge de l'Etat pour obtenir le versement d'une indemnité.
3. A titre subsidiaire, le recourant invoque une violation de l'<ref-law>.
3.1 La direction de la procédure ordonne une défense d'office si le prévenu ne dispose pas des moyens nécessaires et que l'assistance d'un défenseur est justifiée pour sauvegarder ses intérêts (<ref-law>). Tel est notamment le cas lorsque l'affaire n'est pas de peu de gravité et qu'elle présente, sur le plan des faits ou du droit, des difficultés que le prévenu seul ne pourrait pas surmonter (<ref-law>). En tout état de cause, une affaire n'est pas de peu de gravité lorsque le prévenu est passible d'une peine privative de liberté de plus de quatre mois, d'une peine pécuniaire de plus de 120 jours-amende ou d'un travail d'intérêt général de plus de 480 heures (<ref-law>)
3.2 Pour qu'une défense d'office soit ordonnée dans un cas de défense facultative, les conditions posées par l'<ref-law> - et précisées par l'art. 132 al. 2 et 3 CPP - doivent être réunies cumulativement. Ces conditions reprennent largement la jurisprudence du Tribunal fédéral en matière d'assistance judiciaire, rendue sur la base des art. 29 al. 3 Cst. et 6 par. 3 let. c CEDH. Selon cette jurisprudence, la désignation d'un défenseur d'office dans une procédure pénale est nécessaire lorsque le prévenu est exposé à une longue peine privative de liberté ou s'il est menacé d'une peine dont la durée exclut l'octroi du sursis (<ref-ruling> consid. 3.1 p. 285). Elle peut aussi l'être, selon les circonstances, lorsque le prévenu encourt une peine privative de liberté de quelques semaines à quelques mois si, à la gravité relative du cas, s'ajoutent des difficultés particulières du point de vue de l'établissement des faits ou des questions juridiques soulevées qu'il ne serait pas en mesure de résoudre seul (<ref-ruling> consid. 2.5.2 p. 232 s. et arrêt cité).
3.3 En l'occurrence, l'autorité précédente a estimé que le recourant ne pouvait prétendre à une défense d'office sur la base de l'<ref-law> concernant la procédure de première instance au motif qu'il était forclos, pour l'avoir requise tardivement au terme de la plaidoirie de son avocat devant le Tribunal de police. Elle a ajouté que la cause était simple en fait et en droit et l'affaire de peu de gravité de sorte que les conditions à la désignation d'un défenseur d'office, notamment au stade de l'appel, n'étaient pas remplies.
3.4 Cette appréciation n'est pas critiquable. Tout d'abord, le recourant était uniquement exposé à une amende et non à l'une des peines visées par l'<ref-law>. A cet égard, le recourant ne saurait tirer quoi que ce soit de l'arrêt 1B_477/2011 du 14 janvier 2012 consid. 2.2 d'où il ressort que la désignation d'un défenseur d'office dans une procédure pénale est nécessaire lorsque le prévenu est menacé d'une peine qui ne peut être assortie du sursis. La sanction évoquée dans cet arrêt est une peine pour laquelle un sursis est en principe possible mais dont les conditions, notamment quant à la durée, ne sont pas remplies (cf. <ref-ruling> consid. 3.1 p. 285 susmentionné). Il ne s'agit en revanche pas de l'amende - qui ne peut jamais être assortie du sursis (<ref-law>) - sauf à octroyer l'assistance judiciaire à toute personne menacée d'une telle peine. Au vu de la sanction possible, l'affaire n'apparaît pas d'une gravité telle qu'elle justifie à elle seule l'octroi d'un défenseur d'office. A cela s'ajoute qu'elle ne revêt pas de difficultés particulières en fait ou en droit. Le recourant était en effet poursuivi pour n'avoir pas annoncé la réception d'un important montant, ce alors qu'il était au bénéfice du revenu d'insertion et avait l'obligation de fournir des renseignements complets sur sa situation financière. Ces faits ne sont pas contestés par le recourant. La seule question en droit était ainsi de savoir si un tel comportement constituait une contravention et si celle-ci était prescrite ou non. De telles questions n'imposaient pas non plus l'assistance d'un avocat. Quant à la prétention du recourant au versement d'une indemnité, elle impliquait de déterminer s'il avait effectivement provoqué l'ouverture de la procédure à raison de la violation de son obligation d'informer. Ce point ne soulève pas non plus de difficultés particulières. Le refus de désigner un défenseur d'office au recourant, quelle que soit l'instance concernée, ne viole ainsi pas l'<ref-law>. La question de la forclusion évoquée par l'autorité précédente peut ainsi rester ouverte.
4. Le recours doit par conséquent être rejeté. Le recourant a sollicité l'octroi de l'assistance judiciaire. Comme ses conclusions étaient vouées à l'échec, il doit être débouté de sa demande (<ref-law>) et supporter les frais de justice, qui seront fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Président de la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 octobre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod