Han var sønn av amtmann og tollinspektør Fredrik Wilhelm Wedel-Jarlsberg og onkel til diplomaten Fritz Wedel Jarlsberg. Hans sønn var eventyreren Georg Wedel-Jarlsberg.