Astley besuchte das Eton College und studierte nach seinem Schulabschluss an der landwirtschaftlichen Fakultät der Universität Cambridge. Er lernte Italienisch in Florenz. Danach kehrte er nach England zurück und trat bei der Armee in eine Reserve der Cold Stream Guards ein, während er für den "Gold Coast Selection Trust" arbeitete. Er unternahm eine ausgedehnte Reise durch die USA, von der er nach Ausbruch des Zweiten Weltkrieges zurück nach England kehrte. Er diente nach dem Rückzug der britischen Truppen aus Dünkirchen zunächst in den Cold Stream Guards, doch wurde er dann in die militärische Aufklärungseinheit des "Intelligence Corps" versetzt und kam in Nord-Afrika und Italien zum Einsatz. In Mailand und Triest leitete er als Teil der psychologischen Kriegsführung zwei teilweise englischsprachige Radiosender. In Triest war er auch für das lokale Theater verantwortlich. Der Dirigent Herbert von Karajan bekam von ihm dort eine Anstellung und kam auf Astleys Betreiben zu den Wiener Philharmonikern. Das Verhältnis von Karajan und Astley kühlte sich jedoch ab, weil Karajan Astley einer Beziehung mit seiner Frau verdächtigte.