תחילה היה הרב של היכל קורל של גאלאץ, ובהמשך היה הרב הראשי של גאלאץ וחבר במועצה הרבנית העליונה של רומניה. ב-1940, כשהיכל קורל של גאלאץ נהרס ברעידת אדמה, הוא התגורר בחצר בית הכנסת והמשיך לארגן את התפילות בביתו. במותו, לאחר 66 שנות כהונה, ספד לו הרב הראשי של יהדות רומניה באותה תקופה, מוזס רוזן. יעקב מרגוליס היה בנו של הרב אברהם מרגוליס, שכיהן כרב בגאלאץ ונכדו של יעקב (ינקל) מרגוליס, שכיהן כרב בבראילה.