Mediauppspelning stöds inte på den här enheten
Carlos Tuimavave och Fetuli Talanoa försöker och en Jake Connor straff gav Hull en 14-12 halvtid ledning, Cas' Ben Roberts och Zak Hardaker svarar.
Connor sparkade tre straff till och Roberts korsade igen innan Hull drog sig undan när Mahe Fonua och Jamie Shaul gjorde mål inom två minuter.
Greg Minikins sena försök satte upp ett spänt slut men Hulls försvar stod starkt.
Hulls seger satte upp en semifinal med Leeds Rhinos, medan Wigan Warriors, vinnare mot rivaler Warrington på lördag, möter Salford Red Devils.
Nederlaget var bara Tigers "fjärde av säsongen, efter att ha vunnit åtta på varandra följande matcher går in i spelet, med deras sista förlust kommer också mot Lee Radford sida.
Värdarna hade flugit in i en 12-0 ledning tidigt när Tuimavave snappade upp ett pass för att köra nästan hela längden av planen innan Talanoa svängde av två försvarare för att korsa.
Men Roberts visade fotflotta för att hitta en lucka och poäng, medan Hardaker rörde ner Luke Gales smarta spark.
Connors straff höll Hull i förarsätet, och hans sparkar höll poängen tickar över i den andra, som Roberts återigen hittade en lucka för att få sin andra försök.
Men Hull tog ett fast grepp om matchen tack vare två snabba försök, och även om Minikin körde sig igenom till höger, Cas hantering misstag genom matchen kom tillbaka för att hemsöka dem.
Huvudtränare Lee Radford:
"Jag är väldigt stolt över mina spelare. Det fanns gott om särskilda ansträngningar, och det behövdes.
"Detta är den saftiga delen av säsongen, spänningen börjar nu.
"Leeds blir en tuff semifinal. Jag tror inte att vi har slagit dem i nio matcher så det kommer att bli en utmanande och tuff Yorkshire derby. Men dessa är det spännande spelet att vara involverad i. "
Castleford boss Daryl Powell:
"Uppenbarligen är jag besviken eftersom det var en dålig prestation. Vi hanterade inte starten bra men vi kämpade tillbaka väl och vi tänkte att vi kunde återställa på halvtid.
"När vi kom i fronten, sättet vi försökte hantera spelet var galen med offloads.
"Hull var för bra för oss men vi har en möjlighet mot dessa pojkar igen under säsongen. De har slagit oss två gånger den här säsongen och vi måste hitta ett sätt att slå av dem."
Hull FC: Shaul, Michaels, Fonua, Tuimavave, Talanoa, Kelly, Connor, Taylor, Houghton, Watts, Washbrook, Minichiello, Manu.
Ersättningar: Bowden, Fash, Thompson, Turgut.
Castleford: Hardaker, Minikin, Webster, Shenton, Eden, Roberts, Gale, Lynch, McShane, Massey, Sene-Lefao, McMeeken, Milner.
Ersättningar: Millington, Patrick, Larroyer, Foster.
Domare: Phil Bentham
Försvara mästare Hull FC besegrade Super League ledare Castleford Tigers för att nå Challenge Cup semi-finaler.