Il deviant banquier et, dans le même temps, commence à s'intéresser à la criminalité. Il mène une grande étude sur les causes de celle-ci, interrogeant des psychologues, des juges, des sociologues, et visitant lui-même de nombreuses prisons pour s'entretenir tant avec des détenus qu'avec les membres du personnel pénitenciaire. Il publie les résultats en 1958 dans un ouvrage intitulé "Causes of Crime", dans lequel il reconnaît la nécessité de la punition mais soutient aussi le besoin d'accompagner les détenus, faisant valoir que le cruauté à leur encontre ne peut générer que de la cruauté en retour. Il fonde une association appelée New Bridge pour aider la réinsertion sociale des anciens détenus, et préside la rédaction par cette association d'un projet de compensation des victimes de violences, bientôt adopté par le gouvernement. Lorsque les travaillistes menés par Harold Wilson retrouvent le pouvoir en 1964, Frank Pakenham -désormais comte de Longford depuis la mort de son frère en 1961- est nommé ministre chargé des relations avec la Chambre des lords ("Leader of the House of Lords") de 1964 à 1968 et brièvement ministre des Colonies de 1965 à 1966, en période de décolonisation paisible des territoires britanniques en Afrique. Il participe à la création par ce gouvernement du principe de libération conditionnelle. En 1966, il est critiqué pour avoir participé aux côtés d'Éamon de Valera aux célébrations marquant le cinquantenaire de la violente insurrection de Pâques à Dublin. En 1968, sachant que Harold Wilson souhaite le limoger, il démissionne. Après avoir quitté le gouvernement, il crée le New Horizon Youth Centre à Soho pour aider les jeunes en difficulté, qu'ils soient délinquants ou non, et s'évertuer à comprendre ce qui a provoqué leur marginalisation.