נולד ברקלינגהאוזן שבגרמניה. האב, מוזס (יליד פורוהי שבמחוז איוונו-פרנקיבסק, באותה עת בפולין, ומסוף המאה העשרים באוקראינה) והאם, הלה (ילידת דרוהוביץ', באותה עת בפולין, ומסוף המאה העשרים באוקראינה) עברו לגרמניה בעקבות עבודת האב. משפחתו עברה בילדותו למץ בצרפת. במקום הולדתו ובצרפת קיבל שפר חינוך יהודי. לאחר מכן, עברו לזארבריקן בגרמניה ושם למד בבית ספר כללי. ב-1933, עם עליית הנאצים לשלטון חזרה המשפחה לצרפת וב-1936, עם כניסת הצבא הגרמני לחבל הריין חזרה המשפחה לעיירת הולדת האב בפולין. שפר החל ללמוד בגימנסיה בדרוהוביץ', התגורר אצל דודתו לוסיה והחל לשחק כדורגל בקבוצת בית"ר דרוהוביץ'. מפרוץ מלחמת העולם ב-1939 ועד הפלישה הגרמנית לברית המועצות ב-1941 היה אזור מגוריהם תחת שליטת ברית המועצות. כבר ב-1939, בגיל 16 עזב שפר את משפחתו ונמלט מזרחה. תחילה לאזור באקו שבאזרבייג'ן שם עבד שנתיים במפעל לנעליים ולאחר מכן באלמה אטה שבקזחסטן שם שיחק באופן מקצועי בקבוצת דינמו אלמה אטה. בהיותו שם קיבל ידיעות מדודתו לוסיה כי כל משפחתו נרצחה על ידי הנאצים. מיד בתום מלחמת העולם השנייה שב לביילבה שבפולין, שם התגוררה דודתו ששרדה את השואה לאחר שמשפחתה הוסתרה על ידי משפחה פולנית.