Welf var eldste sønn av hertug Welf I og hans kone Judith av Flandern, grevinne av Northumbria og datter av grev Baldwin IV av Flandern. I 1089 giftet han seg med Matilde av Toscana. Hun var en mektig adelskvinne med sterke bånd til pave Gregor VII og denne forbindelsen styrket pavens side i den heftige investiturstriden (striden om retten til å utnevne biskoper) som preget forholdet mellom paven og keiseren. Under keiser Henrik IV’s felttog i Italia i 1090 kjempet Welf og Matilde mot keiseren.