Tillsynsmyndigheten sade att budet inte följde lagarna om att ha sin huvudsakliga verksamhet på det kinesiska territoriet.
Stadens andra hangarfartyg hade också protesterat, sade man.
Qantas sa att man skulle överväga att basera lågprisbolaget i Hong Kong.
Företaget är ett trevägs samriskföretag mellan Qantas Airways, China Eastern Airlines och Hong Kongs investmentbolag Shun Tak Holdings.
"Jetstar Hong Kong kan inte fatta sina beslut oberoende av de två utländska aktieägarnas," sade Air Transport Licensing Authority vid överlämnandet av sitt beslut.
Det sades också att stadens andra flygbolag, inklusive Cathay Pacific och Dragon Airlines, hade invänt mot Jetstars ansökan.
Qantas verkställande direktör Alan Joyce sade att beslutet var en besvikelse för aktieägarna samt "för resenärerna som Jetstar Hong Kong planerade att tjäna".
"Det är den resande allmänheten som har förlorat, eftersom budskapet från detta beslut är att Hongkong verkar stängt för nya luftfartsinvesteringar även när det är majoritet lokalt ägda och kontrollerade", sade han i ett uttalande på fredag.
Han tillade att Hongkong gick i motsatt riktning mot andra luftfartsmarknader i Asien som "öppnade sig".
"Med tanke på luftfartens betydelse för den globala handeln kan stängningen av dörren till ny konkurrens endast tjäna de egenintressen som redan finns på den marknaden."
Flygbolaget, tillsammans med sina partner, sade att det ännu inte hade fattat beslut om huruvida beslutet skulle överklagas.
Det gemensamma företaget värderades till 10 miljoner australiska dollar (7,7 miljoner dollar, 49 miljoner pund), enligt Qantas.
Qantas andel minskade med 1,4 % i Sydney som reaktion på nyheterna.
Myndigheterna i Hongkong har avvisat en ansökan från Qantas-stödda australiensiskt budgetbolag Jetstar om att inrätta ett lokalt flygbolag, efter nästan två års överläggning.