Milner har bestämdt vägrat att mot taga någon portfölj.