Hundens ägare bevittnade händelsen vid Bonna Point, en populär off-leash strand, sade Sutherland Shire Council.
"Vi var ganska traumatiserade, det var fasansfullt," en ägare, som bara heter Nigel, berättade Sydney Morning Herald.
Myndigheterna har installerat varningsskyltar sedan attacken på söndagen och rådde beachgoers och djurägare att undvika vattnet.
"New South Wales Department of Primary Industries råder människor att undvika simning eller surfing när det är mörkt eller under skymning timmar," Rådet sade i ett uttalande.
Den amerikanska Staffordshire Terrier, som hette Molly, hämtade en pinne på den tiden och dök inte upp igen, sade ägarna.
"Det gick väldigt snabbt. Det tog henne bara under vattnet," Nigel citerades som säger.
Händelsen rapporterades inbegripa en tjurhaj, men myndigheterna kunde inte bekräfta arten för BBC.
Händelsen följer en serie hajobservationer på närliggande stränder den här månaden.
Den 9 februari spelades en kitesurfare in på videoridning mot en haj på Brighton Le Sands.
Några dagar senare upptäcktes en haj 10 kilometer inåt landet vid Alexandrakanalen, nära Sydneys flygplats, medan en annan haj sågs i grunt vatten i Botany Bay.
Två människor dödades av hajar i Australien förra året - båda i västra Australien - enligt Taronga Zoo i Sydney.
Simmare har blivit varnade för att undvika en strand i Sydney efter att en hund tagits av en haj i grunt vatten.