Abe ble født inn i en tidligere samuraifamilie fra byen Kanazawa i Ishikawa Prefekturet. Hans svoger var admiral Shigeyoshi Inoue som var en del av den japanske keiserlige marinen. Abe studerte ved en videregående skole i Tokyo. Mens han fremdeles var student, meldte han seg til militærtjeneste under den første kinesisk-japanske krigen som varte mellom 1. august 1894 og frem til 17. april 1895.