実業家・政治家の井上角五郎の五男として東京市芝区(現・東京都港区)三田に生まれる。