שכטר נולד בשנת 1927 בעיר צ'רנוביץ (אז בתחומי רומניה). אח של בלה שכטר-גוטסמן. הוא למד בעיר הולדתו. בשנת 1940 בעקבות הסיפוח הסובייטי של בסרביה ובוקובינה הצפונית אביו נעצר ומת לאחר שנתיים. לאחר ששטח נכבש על ידי רומניה בתחילת מלחמת העולם השנייה, כל המשפחה הוכנסה לגטו. בשנת 1944 השטח שוחרר על ידי הצבא האדום ומשפחה עברה לרומניה. הוא התחיל לימודים באוניברסיטת בוקרשט והשלים את לימודיו באוניברסיטת וינה. בשנת 1951 מרדכי שכטר סיים את הדוקטורט בנושא "Aktionen im Jiddischen: Ein sprachwissenschaftlicher Beitrag zur Bedeutungslehre des Verbums". בהיותו בווינה הוא התחיל לשתף פעולה עם ייווא.