第一任征夷大将军为大伴弟麻吕。在平安时代，最出名的将军为坂上田村麻吕，在桓武天皇的名义下，他带领军队平定夷人。当虾夷人被赶出本州之后，征夷大将军的名号曾一度被弃用。直到后期，伊势平氏首领平清盛于击败源义朝后任太政大臣挟天子以令诸侯把持国政建立第一个武家政权，在往后的源平合战中，源义仲被位以「朝日将军」，惟不久后就被源义经所杀。
鎌仓时代.在十一世纪早期，受将军保护的大名控制了日本的内政事务。其中清和源氏和伊势平氏为两个最有势力的家族，为了控制已经衰弱的京都朝廷，两家争斗不断。在