וולף נולד ב-2 בינואר 1727 בבית הכומר המקומי בעיר ואסטרם שבמחוז קנט בממלכת בריטניה הגדולה. הוא היה המבוגר מבין שני בניו של קולונל (מאוחר יותר לוטננט גנרל) אדוארד וולף ואשתו הנרייטה תומפסון. בילדותו היה מיודד מאוד עם ג'ורג' ורדה, שהתפרסם לימים כמדכא המרד האירי של 1798. בשנת 1740, כשהיה בן 13, הוא התגייס לצבא, ושרת ברגימנט הימי הראשון. למזלו, הוא חלה זמן קצר לאחר מכן, ולפיכך לא השתתף במשלחת הצבאית הבריטית לקרטחנה בשנת 1741, שהסתיימה באסון.