Han ble først gift i England og fikk tre sønner med sin første kone; Harry, Alfred og Scipio. Paret ble separert i 1860. Han skiftet navn til Frank Leslie i 1857.