Han var sønn av Frederik Anton Wedel-Jarlsberg (1748–1811) og Catharine von Storm og ble født i Haag hvor faren på det tidspunkt var gesandt. Wilhelm Frederik ble her oppkalt etter prinsen av Oranien, som stod fadder til ham. Han valgte en militær karriere og ble i 1818 premierløytnant i den norske armé, i 1832 utnevnt til major og i 1839 til første hoffstallmester.