Eddie se vader was 'n Engelsman uit Engeland, en sy moeder 'n sogenaamde Kleurling; dus is hy outomaties as Kleurling geklassifiseer. Hy neem aanstoot aan hierdie term, en verkies om 'n Suid-Afrikaner genoem te word. Hy het grootliks gelukkige kinderdae deurgebring in die omgewing om Distrik Ses en Lavender Hill. Ontmoetings en voorvalle met bendes en die polisie het bygedra tot die vorming van sy sterk gevoel oor regverdigheid en ordentlike gedrag. Met Tafelberg so naby, het hy en sy vriende genoeg geleentheid gehad vir stap en bergklim.
Eddie het plaaslike skole bygewoon, en met 'n standerd-ses sertifikaat die lewe betree. Hy het verskeie werke gehad, selfs vanaf sy skooldae. Kort na die einde van die Tweede Wêreldoorlog, wou hy sy droom om by die handelsvloot aan te sluit bewaarheid; maar hy moes maar wag tot 1954, toe hy begin walvisse jag het.
Met sy terugkeer na Kaapstad, vanaf Oranjemund, begin Eddie meer bewus word van ongeregtigheid deur sy betrokkenheid by 'n fotografiese saak. Hy begin sien hoeveel mense seergemaak word slegs deurdat hulle nie wit was nie. Na sy deelname aan verskeie demonstrasies, vind hy dat die beginsels van die Liberale Party – demokrasie en geregtigheid in 'n nie-rassige Suid-Afrika – hom besonder byval.
Gedurende die jare in die tronk, slaag Eddie daarin om BA en BComm grade te verwerf. Na sy banningsbevel opgehef is het hy 'n onderwysdiploma verkry en het hy sy onderwysloopbaan begin – ongelukkig tydens hewige studente-protestye.
Gedurende die tyd toe Daniels tot die Kaapstadse Magistraatsdistrik beperk is, hervat hy sy vriendskap met Eleanor Buchanan (nou 'n weduwee) met wie hy bevriend was in Oranjemund. Dit was nie moontlik vir hulle om te trou nie aangesien Eleanor blank was, maar hulle kon die wet oortree deur hulle ernstige verhouding.