Jego babka ze strony ojca, Grace, pochodziła z Filadelfii w Stanach Zjednoczonych. Była znaną aktorką, a 30 marca 1955 w czasie 27. ceremonii wręczenia Oscarów otrzymała Nagrodę Akademii Filmowej w kategorii Najlepszej Aktorki za rolę Georgie Elgin w filmie "Dziewczyna z prowincji". Ojciec Jakuba, książę Albert, zrzekł się swojego amerykańskiego obywatelstwa w wieku dwudziestu jeden lat.