Iwasaki ble født inn i en bondefamilie fra Aki i Tosa-provinsen (nå i prefekturet Kochi). Han var barnebarnet til mannen som hadde solgt familiens status som samuraier for å kvitte seg med store krav om gjeld og lån.