Pocházel z významného šlechtického rodu Berkeleyů, byl mladším synem 2. hraběte Berkeleye (1649–1710), který se v politice a u dvora prosadil po Slavné revoluci. James se otcovým dědicem stal po smrti staršího bratra George Berkeleye, vikomta Dursleye (1679–1699). V námořnictvu sloužil od mládí a již v roce 1699 byl poručíkem. Ve dvaceti letech byl povýšen na kapitána a zúčastnil se války o španělské dědictví, vyznamenal se v bitvě u Málagy (1704), v roce 1707 těsně unikl ztroskotání lodi admirála Shovella. Mezitím byl v letech 1701–1702 krátce poslancem Dolní sněmovny (v parlamentu zastupoval město Gloucester, v roce 1704 byl s titulem barona Berkeleye povolán do Sněmovny lordů (titul hraběte zdědil po otci až v roce 1710). Souběžně pokračoval ve službě na moři a během roku 1708 dosáhl hodností viceadmirála a admirála. Po nástupu hannoverské dynastie obdržel hodnost komořího krále Jiřího I. (1714–1727).