Gilmour ble født i Skottland av John og Marian ( Callander) Gilmour, som var reformerte presbyterianere. I 1829 flyttet han og foreldrene til Nova Scotia, Senere slo de seg ned i nærheten av Latrobe i Pennsylvania i USA. Han fikk sin klassiske utdannelse i Philadelphia, hvor han ble kjent med pastor Patrick Rafferty, sogneprest i i Fairmount i Philadelphia.