Iwakura nació en Kioto y fue el segundo hijo de un noble cortesano de baja categoría Horikawa Yasuchika.