Rowley ble født som sønn nummer to av Clotworthy Rowley, advokat og parlamentsmedlem for Downpatrick i Det irske parlamentet, og Letitia (født Campbell) fra Mountcampbell i Drumsna i County Leitrim i den vestlige delen av Irland. Bestefaren var Admiral of the Fleet William Rowley.