Han var sønn av Humphrey III av Toron og Étiennette av Milly, arvingen til Oultrejourdain, og var barnebarn av Humphrey II av Toron, konstabel av Jerusalem. Han var også en stesønn av Étiennettes andre og tredje ektemenn Miles av Plancy og Raynald av Chatillon. Humphreys søster Isabella ble gift med Ruben III av Armenia. Humphrey IV ble selv herre av Toron (dagens sørlige Libanon) da hans bestefar Humphrey II av skadene han fikk etter å ha reddet kong Balduin IV av Jerusalems liv ved Banias i 1179.