בשנים 1942-1945 לימד יפה בתיכון בית הכרם ובמכללה למורים על שם דוד ילין. פעילותו בהגנה נמשכה כחבר המחלקה הערבית של הש"י, ובמלחמת העצמאות השתתף בקרב הקסטל ובמצור על ירושלים. לאחר הכשרתו בקורס לדיפלומטים הצטרף בשנת 1949 לשירות החוץ ושימש בו בתפקידים שונים: מזכיר ראשון בשגרירות ישראל בקנדה (1953–1956), קונסול בניו יורק והממונה על מרכז ההסברה בארצות הברית (1957–1962) ומנהל מחלקת ההסברה במשרד (1965–1966). במקביל, החל בשנת 1965, הושאל למשרד ראש הממשלה וכיהן כמזכיר המדיני וראש הלשכה של ראשי הממשלה לוי אשכול וגולדה מאיר אחריו. ביוני 1969, לקראת הבחירות לכנסת השביעית התפטר מתפקידו על מנת שיוכל להכלל ברשימת מפלגת העבודה לכנסת.