A.- A._, a fait valoir un droit à des indemnités de chômage dès le 15 mars 2000. Lors d'un entretien du 8 août 2000 avec son conseiller de l'Office régional de placement (ORP) de Fribourg, il a demandé à suivre un cours d'allemand. Le conseiller s'est aussitôt renseigné par téléphone auprès de l'école X._, sur la date des cours. Il lui a été répondu qu'il restait encore de la place pour un cours débutant et que A._ pouvait s'y intégrer dès le lendemain. Le prénommé s'est présenté le jour même à l'école de langues où un test d'aptitude lui a été remis. Ayant été informé du fait que le cours débutant avait déjà commencé le 2 août 2000, il a expliqué ne pas vouloir y prendre part, préférant le suivre en septembre pour bénéficier d'un enseignement complet.
L'ORP a, par décision du 9 août 2000, assigné A._ à fréquenter le cours en question du 9 au 31 août 2000. Ce dernier ne s'est pas présenté au cours.
Invité par l'ORP à justifier son absence, A._ a indiqué n'avoir pas été d'accord de commencer un cours qui avait déjà débuté depuis plusieurs jours.
Par décision du 4 octobre 2000, l'Office public de l'emploi (OPEM) du canton de Fribourg a prononcé une suspension du droit à l'indemnité de chômage d'une durée de 30 jours pour faute de gravité moyenne, considérant que A._ a refusé, sans motif valable, de participer au cours en question.
B.- Saisi d'un recours formé par l'assuré contre cette décision, le Tribunal administratif du canton de Fribourg l'a, par jugement du 21 juin 2001, partiellement admis en ce sens qu'il a réduit la durée de la suspension du droit à l'indemnité de 30 à 18 jours.
C.- A._ interjette recours de droit administratif contre ce jugement, dont il requiert implicitement l'annulation.
L'OPEM conclut au rejet du recours, tandis que le Secrétariat d'Etat à l'économie renonce à se déterminer.
Le 13 octobre 2001, A._ a produit la copie d'une lettre datée du 11 octobre 2001.

Considérant en droit :
1.- La pièce datée du 11 octobre 2001 concerne des faits survenus en juillet et août 2001, étrangers au présent litige, de sorte qu'il n'y a pas lieu de la prendre en considération.
2.- a) Aux termes de l'<ref-law>, l'assuré a l'obligation, lorsque l'office du travail le lui enjoint, de suivre des cours appropriés de reconversion ou de perfectionnement professionnel qui améliorent son aptitude au placement. Lorsqu'il est établi que l'assuré n'observe pas les prescriptions de contrôle du chômage ou les instructions de l'office du travail, notamment en ne se rendant pas, sans motif valable, à un cours qu'il lui a été enjoint de suivre, son droit à l'indemnité est suspendu (art. 30 al. 1 let. d LACI).
b) En l'espèce, il est constant que le recourant ne s'est pas présenté le 9 août 2000 au cours d'allemand auquel il a été assigné par l'ORP dans sa décision du même jour et contrairement à ce qui avait été prévu avec son conseiller. Comme motif de son absence, il a fait valoir qu'il ne voulait pas fréquenter un cours qui avait déjà débuté le 2 août 2000 - ce qu'il a appris en se rendant à l'école de langues, le 8 août 2001 (procès-verbal d'audition du 15 février 2001 devant le Tribunal administratif du canton de Fribourg). Or, cette excuse ne constitue pas un motif valable au sens de l'art. 30 al. 1 let. d LACI. En effet, le fait qu'un enseignement d'une durée de 20 jours a déjà commencé depuis 5 jours ne constitue pas un empêchement tel que l'on ne puisse essayer de s'y intégrer et en tirer un bénéfice, malgré le retard pris sur les autres participants. Le recourant n'était pas fondé à refuser d'emblée de prendre part au cours, en tout cas pas sans avoir au moins tenté de le suivre et de voir s'il était capable de rattraper les heures perdues. Au demeurant, on ne voit pas pourquoi le recourant n'a pas aussitôt informé son conseiller de ses réserves, au lieu de réagir seulement par la suite, sur injonction de celui-ci.
Dès lors, c'est à juste titre que les premiers juges ont confirmé la suspension du droit de l'assuré à l'indemnité de chômage.
3.- a) Selon l'art. 30 al. 3, 3ème phrase, la durée de la suspension est proportionnelle à la gravité de la faute et ne peut excéder, par motif de suspension, 60 jours. En vertu de l'<ref-law>, la durée de la suspension dans l'exercice du droit à l'indemnité est de 1 à 15 jours en cas de faute légère (let. a); de 16 à 30 jours en cas de faute de gravité moyenne (let. b); de 31 à 60 jours en cas de faute grave (let. c).
b) En l'espèce, il n'y a pas lieu de s'écarter de l'appréciation de l'ORP et des premiers juges qui ont qualifié la faute du recourant de moyenne. Par ailleurs, l'instance de recours cantonale était fondée à réduire la durée de la suspension prononcée par l'ORP de 30 jours à 18 jours - qui se situe dans la limite inférieure de l'échelle prévue par la loi. En effet, comme l'ont retenu à juste titre les premiers juges, il est compréhensible qu'une personne ne disposant pas de connaissances d'allemand souhaite suivre un cours dès son début, afin de bénéficier de l'intégralité des conseils et explications de l'enseignant. Le recourant s'est d'ailleurs montré disposé à participer au prochain cours de langue complet débutant au mois de septembre 2000. Le jugement attaqué n'est donc pas critiquable et le recours se révèle mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Fribourg, Cour des assurances sociales, et au Secrétariat d'Etat à l'économie.
Lucerne, le 22 novembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IVe Chambre :
La Greffière :