הרגרייב נולד בדרום אנגליה למשפחת מטיף נודד קוויקרי. ב-1908 הצטרף לתנועת הצופים של רוברט באדן פאוול. במלחמת העולם הראשונה שירת בגליפולי כחבר בצוות סיוע רפואי. חוויות המלחמה רק חיזקו את תפיסת עולמו הפציפיסטית והוא ראה בחומרה את הנטיות הלאומניות והמיליטריסטיות של תנועת הצופים הבריטית בהנהגת באדן פאוול.