Nacido en una familia católica de la baja nobleza, sus padres fueron Sir Ferdinand Acton y Marie Louise Pelline von Dalberg.