Von Wolzogen entstammte dem alten österreichischen Adelsgeschlecht Wolzogen. Seine Eltern waren Andreas von Wolzogen (um 1540–vor 1603) und dessen Ehefrau, die aus einer Wiener Bürgerfamilie stammende Felicitas geb. Lackner († nach 1624). Sein Vater hatte 1569 als Belohnung für militärische und diplomatische Dienste von Kaiser Maximilian II. das Postmeisteramt in Kaschau im Königreich Ungarn erhalten. Dort wurde von Wolzogen als fünftes von zwölf Kindern geboren. Bei Ausbruch des "Langen Türkenkrieges" flüchtete die Familie 1593 nach Niederösterreich, wo der Vater 1599 in den dortigen Ritterstand aufgenommen wurde. Nach dessen Tod kaufte seine Witwe 1614 die kleine Herrschaft Missingdorf, nach der sich dieser Zweig der Familie fortan nannte.