Det finnes mange gamle varianter av navnet på bygda. De første som nevnes er Quidiafiorde og forskjellige stavemåter av dette, senere er det blitt forenklet til blant annet Quidefiord, Quefiord og i 1723 Qvæfiord. Ifølge Oluf Rygh, i hans verk , må dette komme av Kviðjafjordr, hvor Kviðja betegner øya som i dag heter Kveøya og ligger midt i fjorden. Kviðja kan bety buk eller mage (), og henviser i så fall til øyas buede form.