Den australiska flottan HMAS Maitland och fyra handelsfartyg var inblandade i räddningsinsatser 75 km (45 miles) sydväst om Indonesiens Java Island.
Sökandet följde ett nödsamtal på onsdag från ett fartyg som sa att det hade 150 personer ombord.
Indonesiska lag hade sökt igenom vattnet, men kunde inte hitta båten.
Landets sök- och räddningsbyrå, Basarnas, skickade två båtar och en helikopter till området på onsdag men hittade ingenting och återvände till basen.
Men på torsdag sade ett handelsfartyg att det hade hittat sex personer i vattnet, och fler överlevande räddades under dagen.
"Tre överlevande har allvarliga skador, men är i ett stabilt tillstånd. De är ombord HMAS Maitland, "Australiska sjösäkerhetsmyndigheten (AMSA) sade i ett uttalande.
Det tillade att handelsfartygen APL Bahrain, Gwenolen, AR Carelia och Da Ging Xia var inblandade i sökandet.
Källa: Australian Department of Migration and Citizenship
Kapten Manuel Nistorescu från fartyget APL Bahrain berättade för tidningen Sydney Morning Herald att en grupp afghanska män han plockade upp hade legat i vattnet i 24 timmar.
Det fanns också kvinnor och barn på den saknade båten, tillade han.
"De hade en motor paus och vattnet var på väg, och pumpen för att pumpa ut vattnet fungerade inte och båten sjunker. Detta är vad jag förstår av dem", sade han.
Antalet saknade människor kunde inte bekräftas, berättade Australiens inrikesminister Jason Clare reportrar.
"Vi har allvarliga farhågor för mycket mer", sade han. ''Underskatta inte hur svår denna uppgift är; underskatta inte hur stort havet som vi söker är.'
Asylsökande vänder sig ofta till Christmas Island, utanför Australiens nordvästra kust, för att komma till landet. De gör resan från Indonesien i båtar som vanligtvis är överbelastade och dåligt underhållna.
I juni, en båt med 200 asylsökande sjönk nära ön - 17 kroppar hittades och ytterligare 70 fruktades döda efter en tre dagars sökning. Det var den andra båten som sjönk på en vecka och återupplivade debatten om asyl i parlamentet.
Tidigare denna månad godkände lagstiftarna återinvigningen av offshore-bearbetningsläger för asylsökande i Nauru och PNG.
Flyttningarna syftar till att avskräcka asylsökande från att göra den farliga resan till Australien med båt, mitt i ett ökande antal ankomster.
Australien säger att det också kommer att öka sitt intag av flyktingar till 20 000 per år, från nuvarande 13750, i linje med rekommendationer från en expertpanel.
Australiska och kommersiella fartyg plockade 55 personer ur havet när ett sökande fortsatte efter att en båt med asylsökande tros ha sjunkit.