Решта його життя пройшла у боротьбі за владу із власним сином Генріхом та іншими суперниками в Німеччині. Напружені стосунки були в нього також з папською курією та ломбардськими містами. Однак, він залишив своє ім'я в легендах як видатний полководець, державний діяч і меценат.