次男は文部官僚の井上赳。