阿南は多忙な勤務の中でも、剣道や弓道の稽古を怠ることはなく、特に好きだった剣道については、毎日素振りを欠かさず、人事局長時代には3段であったが、陸軍大臣時には5段まで昇段している。