Akiyama urodził się w rodzinie o tradycjach samurajskich. W latach 1886−1890 odbył studia w akademii marynarki wojennej, po czym rozpoczął służbę na okrętach floty japońskiej, specjalizując się w nawigacji i broni torpedowej. Brał udział w wojnie chińsko-japońskiej w latach 1894−1895. Po jej zakończeniu, w latach 1897−1899 studiował w Stanach Zjednoczonych, między innymi brał udział w zajęciach Alfreda T. Mahana w Naval War College. Był obserwatorem podczas wojny amerykańsko-hiszpańskiej na Karaibach, w składzie sztabu admirała Williama T. Sampsona. Przez krótki okres był również na stażu w Wielkiej Brytanii.