Howard Irbyn vanhemmat olivat kontra-amiraali Frederick Paul Irby ja Frances Wright. Irby oli ammattisotilas, upseeriarvoltaan everstiluutnantti. Hän soti Krimillä ja Intian kansannousussa eli Sepoykapinassa 1857 ja osallistui Lucknowin piiritykseen.