טולסדורף נולד ב-3 בנובמבר 1909 בלהנארטן, שהשתייכה לאימפריה הגרמנית. בהיותו בן 5 פרצה מלחמת העולם הראשונה, וטולסדורף ומשפחתו פונו מביתם בעקבות הפלישה הרוסית לפרוסיה המזרחית. לאחר מותו של אביו בשנת 1919 ירש טולסדורף את אחוזות המשפחה, וניהל אותה תוך שהוא ממשיך את לימודיו בגימנסיה בקניגסברג.