Faits: A. B._, né en 1948, travaillait comme chargé de cours et occupait un poste à responsabilité au sein d'une société active dans le domaine de la formation informatique d'adultes. Sa capacité de travail, régulièrement influencée par des problèmes de santé depuis le 18 février 1998, était nulle à partir du 2 août 1999. Il s'est annoncé à l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) le 19 mai 2000. Se fondant sur le dossier médical rassemblé en cours d'instruction, lequel mettait en évidence un épisode dépressif sévère, une anxiété généralisée, une personnalité anankastique, de l'asthme et une phobie sociale, l'administration a octroyé à l'assuré une rente entière d'invalidité pour la période du 1er août au 31 décembre 2000 puis, compte tenu de l'amélioration survenue en automne 2000 laissant subsister une capacité de travail de 60% dans l'ancien métier, un quart de rente (décision du 17 septembre 2001). L'intéressé a également été mis au bénéfice d'une mesure d'ordre professionnel sous la forme d'un reclassement dans une nouvelle profession par la prise en charge d'un stage d'orientation et d'un apprentissage de floriculteur (communications des 21 décembre 2001, 1er mars 2002 et 7 août 2002). L'office AI a en revanche refusé de financer une formation complémentaire de paysagiste (décision du 3 décembre 2004, confirmée en instance cantonale le 10 novembre 2005 et en instance fédérale le 28 septembre 2006) et a statué sur le droit à la rente après réadaptation (3⁄4 de rente dès le 1er août 2004). Parallèlement à cette procédure, le 5 août 2005, B._ a déposé une demande de reconsidération de la décision du 17 septembre 2001 concluant à la modification de cette dernière en ce sens que des indemnités journalières d'attente lui soient accordées avec effet rétroactif dès le 3 septembre 2000 en lieu et place de la rente. Il estimait que ladite décision était manifestement contraire à la loi et à la jurisprudence en découlant et que sa correction revêtait une importance financière considérable. Par décision du 6 octobre 2005 confirmée sur opposition le 13 avril 2006, l'administration a rejeté la demande de reconsidération aux motifs que le mandataire de l'assuré ne s'était pas opposé à la décision litigieuse et que ce dernier n'était objectivement réadaptable qu'à partir du mois de février 2002. Elle affirmait que le droit à l'indemnité journalière prenait naissance le jour où toutes les conditions mises à son obtention étaient remplies pour la première fois mais au plus tôt lors du début de la réadaptation ou de périodes qui lui étaient assimilées. B. L'intéressé a déféré la décision sur opposition à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg reprenant et développant les mêmes conclusions et arguments que dans sa demande ou son opposition. La juridiction cantonale a débouté B._ de ses conclusions et mis les frais de justice à la charge de ce dernier par jugement du 21 décembre 2006. Elle considérait que la décision litigieuse n'était pas manifestement erronée dès lors que la solution du problème nécessitait une analyse juridique approfondie, comme cela ressortait du recours de l'assuré, que l'intérêt financier invoqué ne saurait être qualifié de notable et que l'institution de la reconsidération ne devait pas avoir pour effet de contourner les règles relatives au délai de recours, le mandataire de l'intéressé n'ayant pas réagi lors de la notification de la décision du 17 septembre 2001. C. B._ a interjeté un recours de droit administratif à l'encontre de ce jugement. Il reprenait et développait une nouvelle fois les mêmes conclusions et arguments qu'auparavant. Il soutenait en outre que, la loi fédérale du 16 décembre 2005 modifiant la LAI n'étant pas encore entrée en vigueur au moment de l'introduction du recours, les frais de justice lui avaient été imputés à tort et concluait à leur annulation. Les premiers juges ont précisé que la condamnation de l'assuré au paiement des frais était intervenue en raison de la témérité du recours et non en application des nouvelles normes de procédure. L'office AI a conclu au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.