Durnford ble født inn i en gammel militær familie fra Irland og hans yngre bror, Edward tjenestegjorde også i det britiske militæret, som løytnant-oberst i Royal Marine Artillery. Durnford studerte ved Royal Military Academy i Woolwich, og han begynte deretter som fenrik i de britiske militæret i 1848. Mellom 1851 og 1856 tjenestegjorde han på Sri Lanka. Durnford meldte seg som frivillig til militærtjeneste under Krimkrigen på 1850-tallet, men han ble ikke akseptert for aktiv tjeneste.