Da faren, Welf I, døde i 1101 arvet Welf II hertugtittelen, og han fortsatte i allianse med keiseren. Han giftet seg ikke på nytt og døde barnløs i 1120. Welf ble gravlagt i klosteret i Weingarten.