הוועד הוקם בשם "הוועד האולימפי הארץ-ישראלי" במאי 1933 ביוזמת ארגון "מכבי", וכעבור שנה קיבל את הכרת הוועד האולימפי הבינלאומי ושוויון זכויות מלא בתחילת 1935. פעילות הוועד לקבלת הכרה ספגה ביקורת מחוגי הימין, משפורשה כניסיון להשתתף באולימפיאדת ברלין וכפגיעה בניסיונות לקדם חרם על גרמניה הנאצית. בתגובה הבהירו במכבי שלא ישתתפו באולימפיאדה בברלין ושהבקשה מהועד האולימפי הבינלאומי היא בקשה עקרונית להכרה. בראש הוועד האולימפי עמד פרדריק קיש ומזכיר הוועד היה יוסף יקותיאלי. בנוסף להם, כיהנו בוועד צבי נשרי ויהושע אלוף. להזמנת הוועד האולימפי להשתתף באולימפיאדה, השיב הוועד האולימפי הארץ ישראלי שלא יוכל להשתתף כי הוא עדיין אינו מוכן. תשובה זאת עוררה ביקורת על העדר עמוד שדרה מול הגרמנים. בעקבות פרוץ מלחמת העולם השנייה הודיעה מכבי על הפסקת ההכנות לאולימפיאדה והעמידה את הוועד האולימפי בפני עובדה מוגמרת. זמן לא רב לאחר מכן בוטלו משחקי אולימפיאדת הקיץ 1940.