בתום שירותו הסדיר חזר יפה לקיבוצו. הוא הדריך בתנועת המחנות העולים, היה לרכז הבנייה בקיבוץ ובשנת 1964 נשא אשה. בשנת 1966, נענה לבקשת מפקדיו בצבא והתגייס לשירות קבע, בו שירת עד מותו. מפקדיו העריכו אותו כמפקד מקצועי ויסודי, הנותן דוגמה לחייליו ומודע לצורכיהם. יפה השתתף בקורס תותחנות טנקים בבריטניה ואחריו מונה למפקד פלוגה בגדוד 82 – גדוד טנקי השוט של חטיבה 7. פלוגתו השתתפה במלחמה על המים בצפון ישראל.