Dagley wurde 1929 in Earl Shilton im Leicestershire geboren (andere Angaben besagen 1930) und wuchs dort auch auf. In seiner Kindheit spielte er Cricket und Fußball und war Kapitän des Schoolcricketteams und wurde probeweise als Fußballer auf dem rechten Flügel für Aston Villa eingesetzt. In den nächsten Jahren arbeitete Dagley als Fabrikarbeiter, Busfahrer und Chauffeur. Zudem diente er im Koreakrieg, während dem er als Passagier eine Notlandung eines Militärfliegers auf Wasser miterlebte. Außerdem war er Manager eines Snookerclubs in Earl Shilton. Dort waren mit Jack und Reg Wright zwei der besten Amateure zu dieser Zeit ansässig, wobei Dagley von Reg hart trainiert wurde. Schon als Vierzehnjähriger hatte Dagley dort ein Snookerturnier gewonnen. Durch dieses Training hatte Dagley ein gutes Gefühl für die Auswahl von Stößen und ein instiktives Gefühl für Präzision und Nuancen. Außerdem hatte er verschiedene Tricks entwickelt, die ihm eine Fortführung des Breaks aus schwierigen Situationen erlaubten. Zudem war er ein guter Lochspieler und besaß gute Nerven.