לפני מלחמת העולם השנייה והשואה, היה מנהל בית חרושת בוילנה, שהייתה אז תחת שלטון פולין. בשנת 1940, לאחר פלישת ברית המועצות לפולין וסיפוח וילנה לברית המועצות, הועבר על ידי שלטונות ברית המועצות למינסק. ב-28 ביוני 1941 נכבשה מינסק במסגרת מבצע ברברוסה, והיהודים רוכזו בגטו מינסק. לאחר כינון היודנראט, התמנה לסגנו של היו"ר, אליהו מושקין. הקו שנקטה הנהגת היודנראט היה של שיתוף פעולה עם המחתרת היהודית, והיא אף הפרישה סכומי כסף מהכספים שגבתה עבור מימון פעילות המחתרת. לאחר שמושקין נתלה בפברואר 1942, התמנה יפה למחליפו, והמשיך את קו ההנהגה של מושקין: אי שיתוף פעולה עם הגרמנים ושיתוף פעולה עם המחתרת. עם זאת, בתקופתו חדרו ליודנראט גורמים שכונו "הקבוצה האופרטיבית" ששיתפו פעולה עם הגרמנים. זמן קצר לאחר כניסתו לתפקיד, תבעו ממנו הגרמנים להסגיר לידיהם את אחד ממנהיגי המחתרת, הרש סמולר, אך בהוראתו הציגו אנשי היודנראט את תעודת הזהות של סמולר מגואלת בדם (של יהודי אחר שנרצח באקציה), כהוכחה לכאורה לכך שסמולר נהרג באחת האקציות, וכך ניצל סמולר.