Gorka wurde in Hammersmith als Kind von Zsuzsa Biro und Pál Gorka geboren. Seine Eltern waren nach dem ungarischen Volksaufstand in das Vereinigte Königreich geflohen. Seine Schulzeit verbrachte er in der St. Benedict’s School im Westen von London. Das Heythrop College verlieh ihm den Titel Bachelor of Arts in den Fächern Philosophie und Theologie. Während der Zeit an der Universität trat er der Armee-Reserve ("Territorial Army") bei und war Teil des "Intelligence Corps".