עם חזרתו לארץ השתתף זכאי בדיונים על הקמת המסגרת הימית של צה"ל. בתחילת מרץ הוזמן לדוד בן-גוריון בבית האדום בתל אביב, יחד עם בני מרשק יוסף טבנקין, שמואל ינאי ומשה רבינוביץ'. לאחר פתיחה קצרה הודיע בן-גוריון: , איפשר לנוכחים להתבטא ופסק: להחלטה היו מתנגדים ובעקבותיה נערכו דיונים במטה הפלמ"ח. זכאי וחבריו הימאים היו מאוחדים בהכרת הצורך להקים כוח ימי מיוחד ונפרד והיו משוכנעים שישרתו בו. בן-גוריון מינה את גרשון זק לרכז אדמיניסטרטיבית את הגוף המוקם. ראש המטה הארצי של ההגנה, ישראל גלילי, שהתנגדותו נדחתה, הוציא ב-17 במרץ את הפקודה להקמת שרות ימי.
עם הקמת השרות הימי התמנה זכאי לתפקיד קצין מנהלה. מטה השרות הימי התמקם בדירה ברחוב הגליל בתל אביב, משם נדד לרח' מאפו ולשכונת פועלים והגיע למלון סן רמו בכיכר הרברט סמואל בתל אביב. באוגוסט 1948 עבר המטה למחנה סטלה מאריס בכרמל, בחיפה. זכאי, כקצין המנהלה, ארגן את החיל על בסיס אנשי הפלי"ם יוצאי הצי והצבא הבריטי, מתנדבי חוץ לארץ בעלי רקע ימי, אנשי צי הסוחר, עובדי הנמל ומספנת העוגן, יוצאי האגודות הימיות ובוגרי בית הספר הימי בצ'יוויטווקיה.
מלחמת העצמאות.
ביוני 1948 התמנה זכאי לראש אגף המבצעים, בדרגת סגן קברניט (דרגה שהייתה נהוגה בחיל הים עד סוף 1950, והייתה מקבילה לדרגת סגן-אלוף). זכאי שירת בתפקיד זה עד ספטמבר 1949. בתפקיד זה היה מעורב בניסיון למנוע את הגעת האונייה אלטלנה מלהגיע לחופי תל אביב, אך כאשר התקרבה האונייה בכל זאת והחלו חילופי אש ארגן זכאי את האבטחה סביב מטה חיל הים שהיה אז במלון סן רמו, בקרבה מידית לירי ההדדי. שנה מאוחר יותר, במסגרת תפקידו, ארגן את פינוי שברי האונייה מחוף תל אביב.
במהלך המלחמה ארגן זכאי את המבצעים שהוטלו על חיל הים ואף הציג וקיבל אישור לפעולות תקיפה יזומות. הפעולה החשובה הייתה קבלת אישור מבן-גוריון לתקוף את האונייה המצרית האמיר פארוק מול חוף עזה.
שירות בחיל הים לאחר מלחמת השחרור.
לימודי בניין אניות.
הכנת אוניות המעפילים במספנות באיטליה והשירות בחיל הים יצרו אצל זכאי קשר חזק לנושא בנין אוניות. זכאי היה קצין בכיר בחיל, מוכר לשר הביטחון ובעמדה (כראש אגף מבצעים) שהציבה אותו כמועמד ריאלי לפיקוד על חיל הים. למרות זאת העדיף זכאי לצאת ללימודי בניין אוניות. זאת, מכיוון שהחיל החדש היה זקוק לידע מקצועי בבניית והפעלת אוניותיו, ובנין אוניות היה מקצוע שלא נלמד בארץ. באוגוסט 1949, נשלח זכאי, בהחלטת הרמטכ"ל יעקב דורי ושר הביטחון בן-גוריון, ללימודי הנדסת אוניות בארצות הברית, במכון הטכנולוגי של מסצ'וסטס (MIT) בבוסטון. בכך היה לקצין צה"ל הראשון שנשלח ללימודים אקדמאים מחוץ לישראל.
בבוסטון הייתה קבוצת אנשי צבא ישראלים שכללה את יוחאי בן נון, שמואל ינאי, אריה קפלן, יוסי הראל, עמוס חורב ופלטיאל מקלף. זכאי ריכז את הקבוצה מול הנספח הצבאי בוושינגטון, חיים הרצוג, וגם היה אמון על הקשר עם פרד מונוסון, ראש הקהילה היהודית בבוסטון. בספטמבר 1953 סיים זכאי את לימודיו והוענק לו תואר שני בהנדסת ימית ומכונאות ימית.
המשך השירות בחיל הים.
באוקטובר 1953 שבו זכאי ומשפחתו לארץ, וב-20 בדצמבר מונה זכאי לתפקיד מהנדס ימי במפקדת קצין הנדסה של חיל הים.
ביולי 1954 יצא זכאי יחד עם סא"ל צבי קינן ללמוד את נושא הפעלת הצוללות בצי ההולנדי. משרד ההגנה ההולנדי הביע נכונות לסייע בהקמת שייטת המונה שלוש צוללות אך מדינות אחרות לחצו על הולנד שלא לקיים עסקה עם ישראל ונושא הצוללות נדחה.
בפברואר 1956 התמנה זכאי לראש מחלקת הנדסה ובאוקטובר 1956 הועלה לדרגת אלוף-משנה והתמנה לתפקיד ראש מחלקת ציוד, לאחר שמחלקת הנדסה אוחדה עם מחלקת ציוד, שהייתה הגוף האחראי מול מפקדת חיל הים, שנשא באחריות להכנת כלי השיט, ציודם והלוגיסטיקה עבורם. המחלקה עסקה בקיום השוטף וגם בבניה של טרפדות חדשות בצרפת ובאיטליה. תכנון שנעשה לבניית משחתת חדישה לא יצאה לפועל, ובמקום זאת נרכשו המשחתות מסדרה Z בבריטניה.
זכאי שימש בתפקיד זה בעת מלחמת סיני. משימה חשובה הייתה להביא במהירות את המשחתת המצרית אבראהים אל-אוול למצב תקין והכנסתה לשירות בחיל הים כאח"י חיפה. מעמדו של זכאי בחיל הים היה מוערך מאוד. כאשר יצא מפקד החיל שמואל טנקוס מחוץ לישראל בחודש מאי 1957 מונה זכאי כממלא מקומו.
תפקידים מחוץ לחיל הים.
בנוסף לתפקידו בחיל הים התמנה זכאי בפברואר 1955 כמרצה אורח למכונאות ימית במחלקה לכח וחום בטכניון. זכאי הרצה בטכניון גם בשנות הלימודים תשי"ח ותשי"ט.
במהלך שירותו בחיל הים מונה זכאי על ידי מנכ"ל משרד הביטחון, שמעון פרס, להשתתף בוועדה שתדון בדרכים להקמת מספנה לבנייה ותיקון אניות בארץ. הוועדה הגישה בחודש יולי 1956 סיכום והמלצות על הדרך שבה יש לנקוט להקמת המספנה. את המימון להקמת המספנות תכננו לקבל במסגרת הסכם השילומים מגרמניה המערבית.
ביולי 1957 נשלח זכאי על ידי נחום שמיר, מנהל חברת השילומים, לביקור במספנות באירופה כדי לברר וללמוד נושאים הקשורים להקמת המספנות. ב-2 בדצמבר 1957 סיים זכאי את תפקידו במחלקת ציוד והושאל לחברת השילומים כמנהל טכני. זכאי ערך הכנות להקמת המספנות כולל ניתוח כלכלי עבור חברת השילומים, והוחל בהקמת מספנות ישראל בנמל הקישון.
ניהול מספנות ישראל היה חשוב מאוד לחיל הים. אלוף שמואל טנקוס כתב לזכאי: .
על אף הכוונות מצד חיל הים וציפיתו האישית של זכאי כי הוא ינהל את המספנה, נמסר ניהול המספנות לאחר הקמתן לישראל ליברטובסקי. בספטמבר 1959 התפטר זכאי מתפקידו כמנהל טכני של המספנות והשתחרר מצה"ל.
תפקידים אזרחיים.
בניית אוניות ביפן.
חברת צים החלה לבנות אוניות חדשות ביפן עבור החברה ועבור חברות משותפות עם גאנה ובורמה. מנהליה פנו לזכאי והציעו לו להיות הנציג ביפן ולנהל ולפקח על בניית האוניות שם. היה זה אתגר גדול ומעניין בתחום בו יכול היה לנצל את ההשכלה שרכש בתחום בניית אוניות. בדצמבר 1961 עבר זכאי עם משפחתו ליפן והחל בתפקידו שם. מקום מגוריו היה בקובה (יפן) תחת פיקוחו נבנו ושופצו אחת עשרה אוניות בשלוש ערים שונות.:
חזרה לישראל.
בסוף שנת 1968 הסתיימה תקופת עבודתו של זכאי ביפן והמשפחה שבה לביתה בישראל. עוד בינואר 1967 התמנה זכאי למנהל טכני בקונצרן "תיעוש אזורי פיתוח בע"מ", שמטרתו הייתה לפתח תעשייה באותם אזורים. הקונצרן סבל מהפסדים כבדים ולא הצליח למלא את מטרתו. ב-1967 רכשה ההסתדרות את חלקה של הממשלה בקונצרן ושינתה את ייעודו. בוטלה ההתמקדות באזורי פיתוח והושם דגש על ענפי הטקסטיל, הפלסטיקה והציוד הרפואי. זכאי היה חבר במועצת המנהלים של 11 חברות תעשייתיות של הקונצרן. בשנת 1968, תחת ניהולו של זכאי, החלה החברה להרוויח.
בפברואר 1969 נקרא זכאי לשר הביטחון משה דיין, שהציע לזכאי לנהל את "מכון 3" - המפעל המרכז את מרבית הפעילות של רפאל. בתפקידו היה כפוף לישעיהו לביא, מנכ"ל הרשות לפיתוח אמצעי לחימה. פעילותו, המינהלית ברובה, תרמה לפיתוחים הרבים שנעשו במכון דוד באותה עת. בעת מלחמת יום הכיפורים גויס זכאי לצה"ל ועשה את המלחמה במסגרת תפקידיו ברפאל. המכון נקרא "חטיבת טכנולוגיות וסיוע", עד ששמו הוסב ל"מכון דוד" על שם פרופסור ארנסט דוד ברגמן, שנפטר בחודש אפריל 1975. זכאי סיים את פעילותו במכון ב-31 בינואר 1976.
פעילות ציבורית.
עם סיום לימודיו במכון הטכנולוגי של מסצ'וסטס נעשה זכאי חבר באגודה האמריקאית של מהנדסי בנין אניות ומכונאות ימית. בשנת 1960 ראה זכאי צורך בקידום נושא בניית האניות בישראל. לצורך קידום מטרה זו הקים זכאי, עם חבריו אמנון סלעי, שלמה קארו, משה דרימר, יעקב רקנטי ויוסף רום את האגודה למהנדסי אניות. בשנת 1964 התקבל זכאי כחבר באגודת Sigma Xi שליד ה-MIT, כהכרה במיומנותו בהכנת מחקרים מדעיים.
במקביל לעבודתו ברפאל נענה זכאי לבקשתו של ראש עיריית חיפה, יוסף אלמוגי, להצטרף לשירות הציבורי. בבחירות שנערכו בינואר 1974 נבחר זכאי כחבר מועצת העיר חיפה. זכאי היה חבר בוועדות הכספים, החינוך, התברואה, התחבורה, הביטחון ובניין ערים. בחודש מאי 1976 מונה זכאי כנציג עיריית חיפה במועצת הג"א ארצית, ובמסגרת תפקידו עסק בארגון מכבי האש. זכאי נבחר ליושב ראש איגוד ערים חיפה – שירותי כבאות, ועסק בכך רבות. תפקידים אוישו בכבאים ומפקדים ראויים ונעשתה השקעה בציוד - כבאיות ומנופים. הושגו תקציבים ומבני תחנות הכבאים חודשו וזכאי אף הגיש הצעה לארגון נושא הלחימה באש לארגון כלל ארצי, בדומה למשטרת ישראל. ההצעה הגיעה לשולחן הממשלה, אך הרשות הארצית לכבאות והצלה הוקמה רק שנים רבות לאחר מכן, ב-2013.
פעילותו של זכאי בעיריית חיפה הסתיימה בתום התקופה הקבועה, ב-24 בנובמבר 1978. זכאי לא העמיד עצמו לבחירות לתקופה נוספת.
זכאי היה פעיל גם בארגונים וולונטריים שונים. בחודש יולי 1985 נבחר זכאי להנהלת הארגון הארצי של חברי ההגנה. בשנים 1988–1999 שימש כנשיא ליונס בחיפה. בתקופה זאת השקיע המועדון במימון לימודים של חיילי צה"ל באוניברסיטה הפתוחה.
טיפול בשפכי גוש דן.
בשנת 1977 רשם זכאי חברה פרטית לשירותי ניהול הנדסה והדרכה, והיה בעליה ומנהלה. ב-1978 נבחר זכאי למנהל כללי של פרויקט ההשבה הביולוגי-מיכני לסילוק וטיהור שפכי גוש דן. המפעל הוקם על רקע ההידלדלות במקורות המים ולאור התנגדות מדינות אגן הים התיכון להמשך שפיכת הביוב לים. ניצול הפוטנציאל של שחזור שפכי גוש דן היווה מרכיב חשוב במאזן המים הארצי. זכאי כמנהל כללי היה אחראי על כל היבטי ההקמה: נושאים טכניים, כספיים, מינהליים ומשפטיים.