בכ"ג בתמוז ה'תש"ו (22 ביולי 1946) השתתף בפיצוץ מלון המלך דוד. במבצע זה היה מפקד חוליית החבלנים. לאחר ההתכנסות בתלמוד תורה "בית אהרון" בשעה 7:00 בבוקר, יצא החוליה בת 6 החיילים של יוסף ראשונה לכיוון מלון המלך דוד. חברי החוליה היו מחופשים לערבים, ותפקידם היה לפרוק את חומרי הנפץ ולהטמינם במלון. לאחר המבצע, הסתתרו יוסף וישראל לוי ("גדעון"), מפקד מבצע הפיצוץ, בבית חולים לחולי נפש בגבעת שאול. לאחר שישראל לא הסתדר במקום, עברו יוסף וישראל בחצות הלילה למקום מסתור בתל אביב.