生于日本萨摩藩鹿儿岛城下的下加治屋町山之口马场，是御勘定方小头西乡九郎隆盛（后改名吉兵卫隆盛）的长子。幼名小吉，通称吉之介。1839年，在鹿儿岛因劝架而受到波及，右臂受伤，内侧神经被切断，高烧三日之后才得以恢复，从此右臂不能握刀，放弃武术的修行，转习相扑，并立志以学问立身。1841年，行成人式，取名隆永。
岛津齐兴、齐彬时代.1844年，西乡隆盛担任「郡方书役助」。1847年，担任的二才头。1850年，萨摩藩发生，切腹；西乡见到赤山的血衣，大受震动，自此以后倾向拥戴世子岛津齐彬