Otto II. wurde als Sohn von Otto I. von Haslau-Gallbrunn sowie dessen unbekannter Gattin geboren, als seine Großeltern gelten Otto und Gertrud von Gallbrunn. Sein Vater Otto I. erscheint in einer Urkunde aus dem Jahr 1192 als Ministeriale des Babenberger-Herzogs Leopold VI., daher scheint es naheliegend, dass Otto II. seine Schwertleite an dessen Hof erhalten hat. In der ersten Hälfte des 13. Jahrhunderts wird Otto II. mehrfach als Gefolgsmann des letzten Babenbergers Friedrich II., der Streitbare, genannt. Nach dessen Tod in der Schlacht an der Leitha im Jahr 1246 konnte Otto II. im nachfolgenden österreichischen Interregnum eine starke politische Position erkämpfen, die es ihm in weiterer Folge ermöglichen sollte, in der Nachfolgefrage eine gewichtige Meinung zu vertreten. Das ermöglichte ihm, während der Regentschaft des Přemysliden Ottokar bedeutende Ämter in den österreichischen Gebieten einzunehmen.