Ivor Montagu war der dritte und jüngste Sohn von Louis Montagu, 2. Baron Swaythling, eines Finanzmannes, und dessen Ehefrau Lady Gladys Goldsmid Montagu Swaythling (1879–1965), die bei der Tischtennisweltmeisterschaft 1926 den Mannschaftspokal spendierte, der in der Folge den Namen "Swaythling Cup" erhielt.