Faits:
A. B._, né en 1948, travaillait comme chargé de cours et occupait un poste à responsabilité au sein d'une société active dans le domaine de la formation informatique d'adultes. Sa capacité de travail, régulièrement influencée par des problèmes de santé depuis le 18 février 1998, était nulle à partir du 2 août 1999. Il s'est annoncé à l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) le 19 mai 2000.
Se fondant sur le dossier médical rassemblé en cours d'instruction, lequel mettait en évidence un épisode dépressif sévère, une anxiété généralisée, une personnalité anankastique, de l'asthme et une phobie sociale, l'administration a octroyé à l'assuré une rente entière d'invalidité pour la période du 1er août au 31 décembre 2000 puis, compte tenu de l'amélioration survenue en automne 2000 laissant subsister une capacité de travail de 60% dans l'ancien métier, un quart de rente (décision du 17 septembre 2001). L'intéressé a également été mis au bénéfice d'une mesure d'ordre professionnel sous la forme d'un reclassement dans une nouvelle profession par la prise en charge d'un stage d'orientation et d'un apprentissage de floriculteur (communications des 21 décembre 2001, 1er mars 2002 et 7 août 2002). L'office AI a en revanche refusé de financer une formation complémentaire de paysagiste (décision du 3 décembre 2004, confirmée en instance cantonale le 10 novembre 2005 et en instance fédérale le 28 septembre 2006) et a statué sur le droit à la rente après réadaptation (3⁄4 de rente dès le 1er août 2004).
Parallèlement à cette procédure, le 5 août 2005, B._ a déposé une demande de reconsidération de la décision du 17 septembre 2001 concluant à la modification de cette dernière en ce sens que des indemnités journalières d'attente lui soient accordées avec effet rétroactif dès le 3 septembre 2000 en lieu et place de la rente. Il estimait que ladite décision était manifestement contraire à la loi et à la jurisprudence en découlant et que sa correction revêtait une importance financière considérable.
Par décision du 6 octobre 2005 confirmée sur opposition le 13 avril 2006, l'administration a rejeté la demande de reconsidération aux motifs que le mandataire de l'assuré ne s'était pas opposé à la décision litigieuse et que ce dernier n'était objectivement réadaptable qu'à partir du mois de février 2002. Elle affirmait que le droit à l'indemnité journalière prenait naissance le jour où toutes les conditions mises à son obtention étaient remplies pour la première fois mais au plus tôt lors du début de la réadaptation ou de périodes qui lui étaient assimilées.
B. L'intéressé a déféré la décision sur opposition à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg reprenant et développant les mêmes conclusions et arguments que dans sa demande ou son opposition.
La juridiction cantonale a débouté B._ de ses conclusions et mis les frais de justice à la charge de ce dernier par jugement du 21 décembre 2006. Elle considérait que la décision litigieuse n'était pas manifestement erronée dès lors que la solution du problème nécessitait une analyse juridique approfondie, comme cela ressortait du recours de l'assuré, que l'intérêt financier invoqué ne saurait être qualifié de notable et que l'institution de la reconsidération ne devait pas avoir pour effet de contourner les règles relatives au délai de recours, le mandataire de l'intéressé n'ayant pas réagi lors de la notification de la décision du 17 septembre 2001.
C. B._ a interjeté un recours de droit administratif à l'encontre de ce jugement. Il reprenait et développait une nouvelle fois les mêmes conclusions et arguments qu'auparavant. Il soutenait en outre que, la loi fédérale du 16 décembre 2005 modifiant la LAI n'étant pas encore entrée en vigueur au moment de l'introduction du recours, les frais de justice lui avaient été imputés à tort et concluait à leur annulation.
Les premiers juges ont précisé que la condamnation de l'assuré au paiement des frais était intervenue en raison de la témérité du recours et non en application des nouvelles normes de procédure. L'office AI a conclu au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. L'acte attaqué a été rendu avant l'entrée en vigueur le 1er janvier 2007 (RO 2005 1205, 1242) de la loi du 17 juin 2005 sur le Tribunal fédéral (LTF; RS 173.110), de sorte que la procédure reste régie par l'OJ (<ref-law>; <ref-ruling> consid. 1.2 p. 395).
2. L'acte attaqué porte sur des prestations de l'assurance-invalidité. Aux termes de l'art. 132 al. 2 OJ (dans sa teneur selon le ch. III de la loi fédérale du 16 décembre 2005 modifiant la LAI, en vigueur depuis le 1er juillet 2006), en relation avec les art. 104 let. a et b, ainsi que 105 al. 2 OJ, le Tribunal fédéral n'examine que si l'autorité cantonale de recours a violé le droit fédéral, y compris par l'excès ou l'abus de son pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou encore s'ils ont été établis au mépris de règles essentielles de procédure. Cette réglementation s'applique à tous les recours déposés après le 30 juin 2006 (ch. II let. c de la loi du 16 décembre 2005 modifiant la LAI).
3. Aux termes de l'<ref-law>, l'assureur peut revenir sur les décisions formellement passées en force lorsqu'elles sont manifestement erronées et que leur rectification revêt une importance notable.
Dans la mesure où il n'est pas contesté que l'office intimé est entré en matière sur la demande de reconsidération et où le recourant a bénéficié d'indemnités journalières pendant les mesures de réadaptation, seuls demeurent litigieux les points de savoir si l'octroi d'une rente en lieu et place d'indemnités journalières d'attente durant la période précédant le stage et l'apprentissage auprès de la Ville de F._ est manifestement erroné et si la rectification de cette hypothétique erreur revêt une importance notable (<ref-ruling>, 116 V 62).
4. 4.1 En principe, le droit aux indemnités journalières est lié à la période d'exécution de mesures de réadaptation d'une certaine durée dont ces indemnités sont une prestation accessoire (<ref-ruling> consid. 2a p. 88 sv.). Cette règle n'a cependant pas une portée absolue. L'<ref-law> (dans sa teneur en vigueur jusqu'au 31 décembre 2004 qui correspond essentiellement à celle de l'actuel <ref-law>) charge en effet le Conseil fédéral de fixer les conditions auxquelles de telles indemnités peuvent être allouées pour des jours isolés, la durée de l'instruction du cas, le temps précédant l'exécution de la réadaptation ou de mise au courant dans un emploi. Selon l'<ref-law>, l'assuré qui présente une incapacité de travail de 50% au moins et doit attendre le début de prochaines mesures de réadaptation a droit, durant le délai d'attente, à une indemnité journalière (al. 1); le droit à l'indemnité s'ouvre au moment où l'office AI constate, sur la base de l'instruction, que des mesures de réadaptation sont indiquées mais en tout cas quatre mois après le dépôt de la demande (al. 2); les bénéficiaires de rentes qui se soumettent à des mesures de réadaptation n'ont pas droit aux indemnités journalières pendant le délai d'attente (al. 3).
Le droit à des indemnités journalières en vertu de l'<ref-law> suppose, par définition, que l'assuré doive attendre le début de mesures de réadaptation et non pas simplement des mesures d'instruction destinées à réunir les données nécessaires sur son état de santé, son activité, sa capacité de travail, son aptitude à être réadapté ou encore sur l'indication de mesures de réadaptation (<ref-ruling> consid. 3b p. 91 sv.; RCC 1991 p. 185 consid. 3). Il faut, en outre, que les mesures de réadaptation apparaissent indiquées, tant objectivement que subjectivement. Point n'est besoin, en revanche, que l'administration ait rendu une décision à leur sujet; il suffit que de telles mesures entrent sérieusement en ligne de compte dans le cas concret (<ref-ruling> consid. 2a p. 277; RCC 1991 p. 184). Dès ce moment-là, l'assuré a droit à l'indemnité, mais au plus tard quatre mois après le dépôt de la demande, pour autant que les conditions du droit soient réunies (<ref-ruling> consid. 2b p. 89 sv.).
4.2 En l'occurrence, le Tribunal de céans a déjà eu l'occasion de se prononcer sur l'état de santé de l'intéressé dans l'arrêt I 12/06 du 28 septembre 2006, de sorte qu'il n'y a pas lieu d'y revenir. En substance, il a été alors retenu que ledit état, qui avait de fortes chances d'évoluer favorablement, laissait subsister une capacité résiduelle de travail de 60% dans l'activité habituelle dès le mois d'octobre 2000. Cette appréciation, effectuée par le docteur H._, expert psychiatre, n'était pas remise en question par celle de la doctoresse F._, psychiatre traitant, qui se contentait d'attester une incapacité totale de travail du 1er janvier 2001 au 30 septembre 2002, d'autant moins que durant cette période, le recourant avait participé à un stage d'orientation et débuté un apprentissage auprès de la Ville de F._ sans rencontrer de problèmes de santé particuliers.
Il apparaît dès lors que l'intéressé ne remplissait plus la première condition d'application de l'<ref-law> dès le 1er octobre 2000. En admettant que des mesures de réadaptation eussent été indiquées dans le cas d'espèce, le droit à des indemnités journalières d'attente aurait pris naissance le 19 septembre 2000, soit quatre mois après la réception de la demande de prestations par l'administration, ce qui correspond substantiellement d'ailleurs aux conclusions de la demande de reconsidération et du recours de droit administratif. Le droit aurait cependant pris fin le 30 septembre 2000. Dans ces circonstances, la rectification de la décision du 17 septembre 2001 tendant à la substitution d'indemnités journalières d'attente à la rente entière d'invalidité qui était alors versée, pour une période de douze jours seulement, ne saurait revêtir l'importance considérable que veut lui conférer le recourant ni l'importance notable exigée par la loi. Pour ce motif déjà, le recours est mal fondé, de sorte qu'il n'y a pas lieu d'examiner la reconsidération de ladite décision sous l'angle de l'erreur manifeste.
5. Dès lors qu'il était évident que le recours n'avait aucune chance de succès, compte tenu de ce qui précède, et que l'intéressé a persisté dans sa volonté de recourir, la juridiction cantonale pouvait légitimement conclure que celui-ci avait agi par témérité ou légèreté (sur cette notion, cf. arrêt I 252/06 du 14 juillet 2006, publié in: SVR 2007 IV no 19 p. 168 et P 23/03 du 4 septembre 2003, publié in: SVR 2004 no 2 p. 5), de sorte que le recours est en tous points mal fondé.
6. La procédure est onéreuse (art. 132 OJ dans sa teneur en vigueur dès le 1er juillet 2006). Représenté par un avocat, le recourant, qui succombe, ne saurait prétendre de dépens (art. 159 al. 1 en relation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit administratif est rejeté.
2. Les frais de justice arrêtés à 500 fr. sont mis à la charge du recourant.
3. Le présent arrêt sera communiqué aux parties, à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg et à l'Office fédéral des assurances sociales.
Lucerne, le 4 janvier 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Cretton