Леонард Джеймс Каллагэн родился 27 марта 1912 года в Портсмуте. Второе имя он взял от своего отца, Джеймса (1877—1921), который был сыном ирландского католика, бежавшего в Англию во время Великого ирландского голода. Отец Каллагэна сбежал из дома в 1890-х годах, чтобы поступить на службу в Королевский военно-морской флот. Поскольку он был слишком молод, чтобы поступить в армию, он назвал ложную дату рождения и изменил свою фамилию с Гарогана на Каллагэна, для того, чтобы его истинную личность невозможно было установить. Он дослужился до звания Чиф-петти-офицера.