Opprinnelsen til kaka er kongekake, som kvæfjærdingen Hulda Ottestad kjøpte oppskrift på midt på 1930-tallet. Sammen med søsteren drev hun Café Alliance i Harstad, og kjøpte derfor to kakeoppskrifter for 200 kroner. Oppskriften på kongekake ble modifisert, blant annet med færre mandler, som var en dyr vare. Kaka fikk så navnet kvæfjordkake.