Faits: A. A.a Par contrat de travail du 9 octobre 2000, soumis à la Convention collective nationale de travail pour les hôtels, restaurants et cafés de 1998 (ci-après: CCNT 1998), B._ a engagé A._ en qualité de cuisinier à la Brasserie X._, à Lausanne. Le contrat prévoyait que la durée moyenne de la semaine de travail était de 41 heures et que le travailleur avait droit à quatre semaines de vacances par année. Le salaire brut mensuel initial de A._ se montait à 4'500 fr.; ce dernier avait droit à une participation au 13ème salaire de 200 fr. par mois dès le 7ème mois de travail. Le travailleur a débuté son activité le 1er novembre 2000. Dès le 1er janvier 2003, son salaire a été augmenté à 4'600 fr. brut par mois, la participation mensuelle au 13ème salaire passant à 288 fr. à partir du 1er août 2003, puis à 383 fr. à partir du 1er janvier 2004. Pendant la durée des rapports de travail entre parties, cinq employés travaillaient à la Brasserie X._, dont, outre le demandeur, un ou deux cuisiniers. L'horaire des employés de cuisine était affiché dans ce local, sous la forme du tableau suivant: "HORAIRE DES EMPLOYES DE CUISINE Peut être modifié en cas de banquets Matin Soir Lundi 09.30 14.30 17.45 22.30 Mardi 09.30 14.30 17.45 22.30 Mercredi 09.30 14.30 17.45 22.30 Jeudi 09.30 14.30 17.45 22.30 Vendredi 09.30 14.30 17.45 23.00 Samedi 09.30 14.30 17.45 23.00 Dimanche et jours fériés 10.30 15.00 17.45 22.00 Nouvel an 31.12. 10.00 jusqu'à 03.00 du matin 1er janvier fermé, compense le 31 décembre Total horaire hebdomadaire: 40.75 heures Chaque employé a droit chaque jour à 15 minutes pour le petit déjeuner et à 30 minutes à chaque repas. Les heures supplémentaires ne peuvent pas être reprises d'office comme le désire l'employé. Elles seront compensées ultérieurement d'entente avec le patron. Les jours de congé peuvent être modifiés selon les besoins." L'instruction a établi que, pendant les périodes saisonnières creuses, il arrivait que le personnel finisse de travailler plus tôt que l'horaire prévu. Par ailleurs, le travailleur n'était pas très ponctuel. A.b Il a été retenu que les rapports entre les plaideurs se sont dégradés dès la fin 2001. Ainsi, par courrier du 23 novembre 2001, l'employeur a reproché au cuisinier d'avoir pris un jour de congé de sa propre initiative. Par une nouvelle lettre du 22 août 2003, B._ a donné un avertissement à A._, lequel s'était octroyé, sans autorisation, une semaine de vacances supplémentaire. Le 26 décembre 2003, l'employeur a encore averti le travailleur, qui ne s'était pas présenté sur son lieu de travail le 23 décembre 2003, alors qu'un congé pour le jour en question lui avait été formellement refusé. A.c Le 13 juillet 2004, B._ a licencié A._ pour le 31 août 2004 et l'a libéré de l'obligation de travailler dès le 6 août 2004, pour prendre en compte les jours fériés et les vacances encore dus au travailleur. Par pli du 5 août 2004, le cuisinier s'est opposé à son licenciement, considérant qu'il était abusif au sens de l'art. 336 CO. Il a été constaté que B._ a congédié A._ en raison des difficultés économiques qu'il traversait. Le 27 août 2004, le même employeur, à son grand regret, a ainsi licencié un autre employé en raison d'une restructuration. B. Par demande du 5 novembre 2004, A._ a actionné B._ devant le Tribunal de prud'hommes de l'arrondissement de Lausanne. En dernier lieu, le demandeur a réclamé au défendeur la somme totale de 30'000 fr. plus intérêts à 5 % l'an dès le 1er septembre 2004, soit 17'802 fr. pour des heures supplémentaires, le reliquat se décomposant en solde de jours fériés et de vacances, ainsi qu'en versement d'une indemnité pour congé abusif. Le défendeur a conclu à libération. Par jugement du 10 juin 2005, le Tribunal de prud'hommes a reconnu le défendeur débiteur du demandeur du montant brut de 1'269 fr., sous déduction des charges sociales usuelles, avec intérêts à 5 % l'an dès le 1er septembre 2004, au titre de solde des treizièmes salaires des années 2002 et 2003; il a rejeté toutes autres ou plus amples conclusions. Saisie d'un recours du demandeur, la Chambre des recours du Tribunal cantonal vaudois, par arrêt du 14 mars 2006, l'a partiellement admis. La cour cantonale a condamné le défendeur à payer au demandeur la somme brute de 10'170 fr., sous déduction des charges sociales usuelles, avec intérêts à 5 % l'an dès le 1er septembre 2004. Les motifs de cette décision seront exposés ci-après dans la mesure utile. C. A._ exerce un recours en réforme au Tribunal fédéral contre l'arrêt précité. Il requiert que son adverse partie soit condamnée à lui verser 30'000 fr. plus intérêts à 5 % l'an dès le 1er septembre 2004. Le défendeur propose le rejet du recours. Il forme également un recours joint, par lequel il conclut à ce qu'il ne soit déclaré débiteur du demandeur que de la somme brute de 1'269 fr., après déduction des charges sociales usuelles, avec intérêts à 5 % l'an dès le 1er septembre 2004 à titre de solde des treizièmes salaires de 2002 et 2003. Le recourant principal conclut à l'irrecevabilité du recours joint, subsidiairement à son rejet.