Han var født i Klosterneuburg som den femte sønnen til markgreve Leopold III av Østerrike og Agnes av Waiblingen, datter av keiser Henrik IV av Det tysk-romerske rike. Gjennom sin første ektemann Fredrik I av Schwaben, var hun moren til den tyske kongen Konrad III og farmor til keiser Fredrik I av Det tysk-romerske rike. I tillegg var Ottos søster Judith av Babenberg gift med Vilhelm V av Montferrat, og broren var Henrik II av Østerrike, noe som samlet gjorde at Otto var i familie med en av de mest innflytelsesrike personene i Tyskland og Nord-Italia.