אף שישב דרך קבע בניו יורק, עקב תמיד מקרוב אחר מהלך המאורעות בישראל. את ניסיונו הרב במשרד החוץ הליטאי העמיד לרשות מדינת ישראל כאשר סייע בארגון המחלקה המשפטית של משרד החוץ הישראלי. ב-1951, יחד עם אחיו ד"ר נחמיה רובינסון, נטל חלק פעיל במשא ומתן עם מערב גרמניה לגבי שילומים לנפגעי הנאצים שהתנהל בוואסנאר (Wassenaar), ליד האג שבהולנד, המקום בו ישבו הצדדים המתדיינים על המדוכה ועיבדו את "הסכם-לוקסמבורג" שנחתם בספטמבר 1952 (בבית העירייה של לוקסמבורג בין ישראל לגרמניה). את כל הידע והניסיון שרכש במגעים עם גרמניה בעבר (בשנות היותו בשבי הגרמני ולאחר מכן בעת טיפולו בסוגיית ממל מה גם שהיה דובר גרמנית שוטפת) השקיע עתה במגעיו עם הגרמנים על נושא השילומים. ד"ר יעקב רובינסון שימש חבר המשלחת הרשמית של ממשלת ישראל והיה אחראי להיבט המשפטי של ההסכם שהושג עם ממשלת בון. ב-1957 מונה באופן טבעי על ידי ממשלת ישראל ליועץ לוועידה על תביעות יהודיות חומריות כנגד גרמניה, ולאחר מכן השתתף בהקמתה ב-1964–1965 של קרן הזיכרון לתרבות יהודית (Memorial Foundation for Jewish Culture) מכספי השילומים מגרמניה, בניו יורק. היה בין המייסדים של יד ושם והרבה במחקרים בנושא השואה ובמפעלים אחרים במסגרתו ובמסגרות אחרות.