文亀元年(1501年)、室町幕府管領細川氏の家老井上宗信の三男として丹波に生まれる。