לעיתים הצטרפו גם אולב ג'וניור וסילביה לטיוליהם. אף על פי שהיה רק בן חמש באותה תקופה, זכר נילסן את הרגעים הללו בבהירות ותיארם כ"ארוכים מאוד.. לאורך הנמל, מעבר לרצועת החוף, ועד דיונות החול הגבוהות, עד לאינברלוקי"; מאוחר יותר בחייו תיאר את שלב זה של ילדותו כתקופה של נחת ושלווה, ואת סבו כגיבור נהדר ואישיות מגינה. בכל פעם שסבו של נילסן יצא לים, שם עבד למחייתו כדייג, הרגיש נילסן, לדבריו, שחייו הפכו לריקים עד לשובו הביתה.
בריאותו של סבו החלה להתדרדר, אך הוא המשיך לעבוד עד שלבסוף נפטר מהתקף לב ב-31 באוקטובר 1951 בזמן שדג בים הצפוני והוא בן 62. גופתו הושבה לחוף והובאה למנוחות. בזמן שצפה באמו בוכה, רגע אותו תיאר נילסן כזיכרון ילדותו החד ביותר, שאלה אותו אמו האם ירצה לראות את סבו. כשהשיב בחיוב, לקחה אותו לחדר בו שכבה גופתו בארון קבורה פתוח. בעודו בוהה בו, הסבירה לו אמו שסבו ישן, וכי הלך למקום טוב יותר.
לאחר מותו החל נילסן להסתגר והפך לשקט ומופנם, והיה נוהג לעמוד בנמל בתכיפות ולבהות בספינות החולפות. בביתו השתתף בפעילויות המשפחתיות רק לעיתים רחוקות ודחה את ניסיונות בני משפחתו להתקרב אליו. הוא החל לחוש טינה כלפי מה שראה כתשומת לב יתרה ולא הוגנת מצד הוריו עבור אחיו הגדול ואחותו הצעירה, ולא כלפיו. כמו כן קינא באחיו אולב, אשר היה אהוד בקרב בני משפחתו וחבריו. לעיתים קרובות היה מדבר או משחק עם אחותו, סילביה, אליה היה קרוב ביותר.
באחד מטיוליו בחוף הים ב-1954 או ב-1955 שקע נילסן תחת המים ונסחף אל תוך הים. תחילה נבהל ונכנס לפאניקה, בעודו מנופף בידיו וצורח, אולם לאחר שנאבק לנשום אוויר "שלא היה בנמצא", לדבריו, החל לפתע לדמיין כי סבו עומד להגיע ולהצילו. לבסוף ניצל על ידי צעיר אחר אשר משך אותו חזרה לחוף. לאחר התקרית עזבה אמו את בית הוריה לדירה חדשה יחד עם כל ילדיה, וכעבור זמן מה התחתנה עם בנאי בשם אנדרו סקוט, ממנו הרתה וילדה ארבעה ילדים נוספים. אף על פי שבהתחלה שנא נילסן את אביו החורג, אותו ראה כדמות נוקשה ולא הוגנת, לבסוף החל, כנגד רצונו, לחוש כלפיו כבוד מסוים. המשפחה כולה עברה לכפר סטריטשן ב-1955.
בראשית גיל ההתבגרות סבר נילסן כי הוא הומוסקסואל, דבר שבלבל אותו וגרם לו לחוש בושה רבה. הוא הסתיר את העניין מבני משפחתו וחבריו המעטים. מפני שרבים מהילדים אליהם חשב שהוא נמשך היו בעלי תווי פנים אשר דמו לאלו של אחותו הקטנה, סילביה, ניסה נילסן במקרה אחד למשש את גופה ולגעת בו, מתוך מחשבה שסטייתו המינית כלפי גברים היא לא יותר מהתגשמות החיבה שחש כלפיה. הוא האמין כי התקרית בה נגע באחותו היוותה הוכחה לכך שהלכה למעשה היה ביסקסואל.
נילסן לא הפגין מאמצים כלשהם ליצירת מגע מיני עם נערים בני גילו, אף על פי שבזיכרונותיו תיאר תקרית בה נער מבוגר ממנו נגע בו, תחושה שלא עוררה בו רגשי אי-נעימות. בפעם אחרת, ליטף גם את גופו של אחיו הגדול בזמן שישן. כתוצאה מכך החל אחיו לחשוד בסטיותיו ולגנות אותו מול חבריהם, ולעיתים פנה אליו בשם "תרנגולת", ביטוי שמשמעותו נקבה בדיאלקט הסקוטי.
בחלוף הזמן נמאסו על נילסן החיים בסטריטשן, אותם מצא מחניקים ומשעממים, נטולי כל בידור או הזדמנויות. הוא כיבד את מאמציו של הוריו לספק ולדאוג לילדיהם, אולם כעס על כך שמשפחתו הייתה ענייה ממרבית משפחות מכריו ושאר בני גילו, בעוד אמו ואביו החורג לא עשו כל מאמץ על מנת לשפר את מצבם, דבר שבגינו הזמין את חבריו לבלות בביתו רק לעיתים רחוקות. בגיל ארבע עשרה הצטרף לכוח הצוערים של הצבא הבריטי, דרך בה ראה הזדמנות לברוח מחייו הכפריים.
שירות צבאי.
ציוניו התיכוניים של נילסן היו מעל לממוצע. הוא הביע עניין רב בהיסטוריה ובאומנות, אולם מעולם לא היה מוצלח בספורט. הוא סיים את חוק לימודיו ב-1961 ובמשך תקופה קצרה עבד במפעל לייצור מזון שימורים, מנצל את זמנו הפנוי בכדי לחפש את מקומו בעולם. לאחר שלושה שבועות במפעל הודיע לאמו על כוונתו להתגייס לצבא, שם רצה לעבוד כטבח. הוא עבר את מבחני הקבלה בהצלחה וקיבל התראה רשמית על גיוסו העתידי בספטמבר 1961 עבור שירות באורך תשע שנים.
נילסן גויס לחיל ההסעדה הצבאי במחנה אלדרשוט, המפשייר, והתחיל את אימוניו. תוך מספר שבועות הפך למצטיין וביצע את עבודתו לשביעות רצונם הרבה של מפקדיו. מאוחר יותר תיאר את שלושת שנות שירותו באלדרשוט כתקופה השמחה ביותר בחייו. אימוניו סיפקו לו הזדמנויות רבות לטייל במקומות שונים, ובתקרית אחת אף לקחת חלק במצעד צבאי בו השתתפו הפילדמרשל לורד מונטגומרי והמלכה אליזבת השנייה.
במהלך שהותו באלדרשוט החלו דחפיו המיניים להתעורר, אולם הוא שמר על סטיותיו בסוד, ומעולם לא התקלח בנוכחותם של חבריו לפלוגה מחשש לגירוי וקבלת זיקפה. במקום זאת נהג להתקלח בגפו, דבר שאיפשר לו לאונן מבלי להתגלות.
לאחר שעבר את בחינות ההסעדה היסודיות שלו ב-1964 סופח נילסן לגדוד הרובאים המלכותי הראשון באוסנבריק, גרמניה המערבית, שם שירת בדרגת טוראי. באותה העת החל לשתות לשוכרה לעיתים קרובות, ותיאר את עצמו ואת עמיתיו כ"חבורה חרוצה אך שתיינית"; חבריו סיפרו כי שתה בכדי להתגבר על ביישנותו. במקרה אחד, השתכר נילסן יחד עם צעיר גרמני עד שאיבד את הכרתו. כאשר התעורר, מצא את עצמו שוכב על רצפת דירתו של הצעיר. לא התקיים כל מגע מיני בין השניים, אולם התקרית עוררה לראשונה במחשבתו פנטזיות מיניות בהן דמיין את בן זוגו משותק לחלוטין, וכעבור זמן מה אף חסר הכרה או מת.
במספר מקרים ניסה נילסן לעשות את ההפך מכך ולגרום לגופו המשותק לשמש לצרכיהם המיניים של חבריו; כאשר היו שותים יחדיו, היה מדמה פני שיכור בתקווה שאחד מהם ינצל את מצבו ויקיים עמו יחסי מין.
כעבור שנתיים באוסנבריק שב נילסן לאלדרשוט, שם עבר את בחינות ההסעדה הסופיות שלו, בטרם נשלח לשרת כטבח בנורווגיה. מאוחר יותר סופח לבית הכלא אל מנסורה בקולוניית אדן שבפדרציית דרום ערב (כיום תימן); מקום זה היה המסוכן ביותר בו שירת במסגרת שירותו הצבאי, ובמהלך שהותו שם איבד הגדוד אליו היה שייך מספר חיילים אשר נקלעו למארבים בדרכם לבסיס. כמו כן נחטף בידי נהג מונית ערבי אשר הכה אותו עד לאובדן הכרה והשליכו לתוך תא המטען של רכבו. כאשר הוציא אותו, תפס נילסן את ידית המגבה וחבט בו עד שנפל ארצה, בטרם המשיך להכותו עד שחדל לזוז. לאחר מכן החזיר לו באותו מטבע ונעל אותו בתא המטען שלו.
בניגוד להצבותיו הקודמות, קיבל נילסן חדר משלו באל מנסורה, מותרות אשר סיפקה לו פרטיות ואת החופש לאונן מבלי להיתפס. בתקופה זו המשיך ללטש את חלומותיו המיניים בהם דמיין שותפים מיניים אשר אינם מפגינים התנגדות למעשיו, או לחלופין כאלו מתים, וכאשר החל לחוש תסכול לאור חוסר יכולתו להגשים את הפנטזיות הללו, התנחם בכך שהיה מדמיין מפגשים מיניים מאותו הסוג בעודו מאונן מול המראה בהסתכלו על גופו העירום של עצמו. הוא גילה כי כאשר הציב את המראה בחדרו בתנוחה מסוימת, הביא הדבר ליצירת האשליה בה ראשו נמצא מחוץ לטווח הראייה, והדבר כולו נראה כאילו קיים יחסי מין עם גבר אחר. שיטה זו יצרה עבורו את המעמד המושלם בו הצליח למעשה לפצל את אישיותו, כך שהיה גם השולט וגם הנשלט. בסופו של דבר החל מנהגו לערב פרטים ארוטיים נוספים, ועירב את חוויית סף המוות שעבר כשנחטף בידי נהג המונית הערבי, את גופות חבריו למחלקה שראה באדן, וכן ציור שמן מהמאה ה-19 הקרוי רפסודת המדוזה, התיאר, בין השאר, אדם זקן המחזיק בגופתו הרפויה של צעיר עירום, בעודו יושב לצד גופת צעיר אחר. בדמיונו של נילסן, גופת הצעיר הייתה מקבילה לחייל בלונדיני שהכיר אשר נהרג בקרב, והאיש הזקן היה אדם מבוגר, מלוכלך ואפור שיער, השוטף את הגופה ומקיים עמה יחסי מין.
לאחר שסיים את תקופת שירותו הקצובה באדן, שב לבריטניה והוצב בגדוד הרגלים של ארגיל וסאטרלנד במחנה סיטון, פלימות', דבון. תפקידו החדש דרש ממנו לבשל אוכל עבור שלושים חיילים ושני קצינים מדי יום. בתום שהותו שם, הועבר יחד עם שאר הגדוד לקפריסין ב-1969. כעבור מספר חודשים הועבר הגדוד לברלין המערבית, שם חווה נילסן את ניסיונו המיני הראשון בחייו עם בנות המין השני אצל אישה שעסקה בזנות. מאוחר יותר התרברב על כך בפני חבריו, אולם כעבור שנים רבות סיפר שהמפגש לא תאם את ציפיותיו הגבוהות, והיה בעל אפקט מדכא.
בתום תקופת שירות נוספת באינוורנס, נבחר נילסן לשמש כטבח עבור חיל המשמר של בית המלוכה הבריטי. בינואר 1971 עבר לשרת בגדוד חדש באיי שטלנד, ובאוקטובר 1972 סיים את אחת עשרה שנות שירותו הצבאי בדרגת רב-טוראי.
בשלושת החודשים הבאים שב נילסן חזרה לבית משפחתו ושקל את צעדיו הבאים. במהלך תקופה זו העלתה אמו יותר מפעם אחת את דאגותיה בנוגע לכך שטרם מצא בת זוג, והביעה את רצונה לראותו מתחתן ומקים משפחה. במקרה אחד הצטרף נילסן לאחיו ואשתו אשר צפו בסרט דוקומנטרי שעסק בהומוסקסואליות יחד עם זוג נוסף. כל המשתתפים הביעו את תחושות הגועל שחשו כלפי הנושא, למעט נילסן, אשר הגן על זכויות הגאים. בתום ויכוח קל, הודיע אולב ג'וניור לאמם שאחיו הוא הומוסקסואל. נילסן לעולם לא דיבר עמו שוב, ושמר על קשר לא סדיר עם שאר בני משפחתו באמצעות מכתבים. הוא החליט להצטרף למשטרת המטרופולין, ובדצמבר עבר ללונדון בכדי להתחיל בקורס שיטור.
מעבר ללונדון.