בתמוז תר"פ (1920) נוסדה בירושלים אגודת בוני בית על ידי קבוצת מורים בני העלייה השנייה במטרה להקים שכונה חדשה בירושלים למען חבריה. אגודה זו, שמראשוני יוזמיה מקרב המורים היה יצחק יעקבי, ייסדה כעבור שנה את שכונת בית הכרם. יצחק היה פעיל ביותר באגודה, ובאב תר"פ נבחר למזכיר הוועד. שבוע לאחר מכן הוחלט לא להשתהות ולגשת לקניית האדמה למען השכונה החדשה. בשנת תרצ"ו (1936), אחרי חמש עשרה שנות פעילות, נבחר יצחק כיושב-ראש הוועד של בית הכרם. בתקופה קשה זו הגביר יצחק את מעורבותו בוועדת הביטחון של בית הכרם, "מי שלא ראה את יעקבי, ראש הוועד, ששוב לא היה צעיר, מכתת רגליו כשמקל בידו להליכות ביקורת בין עמדה לעמדה, לא ראה מסירות מהי".‏‏