Francis Danby og hans tvillingbror ble født nær Wexford sør på Irland. Faren var gårdbruker med et ganske lite jordstykke. Familien hans flyttet til Dublin etter at faren døde i 1807. Francis Danby lærte å male ved Royal Dublin Society og av den unge maleren James Arthur O'Connor.