Han var det fjerde barnet og den tredje sønnen til Filip V av Spania og konen hans Elizabeth Farnese. Han vokste opp i Madrid og som barn viste han mer interesse i musikk og kunst enn i politikk. Han var også den 12. de med våpenskjoldet til Huset Bourbon.