Роден е в Лондон в семейството на Самуел Бейкър, успял търговец на захар, банкер и корабовладелец, действащ в Западните Индии. Брат е на Самуел Бейкър, изследователя на Нил и на Валънтайн Бейкър - британски и османски офицер. Учи в Колегиалното училище в Глостър и в Кеймбриджкия университет. През 1855 г. Бейкър се жени за Сара Луис Уайт. Влиза в Индийския флот през 1845 г., участва в проучване на брега на Арабско море и в ликвидирането на търговията с роби. По-късно се присъединява към Британската армия и взима участие в Кримската война. През 1875 г. е пенсиониран с чин подполковник.