Räddare avslutade tidigare ansträngningarna att hitta kroppen Jeffrey Bush, 36, vars sovrum var uppslukat av 6m (20ft) hålet på när han sov på torsdag kväll.
Sinkhål är vanliga i delar av Florida, även om de flesta är ganska små.
Experter försöker ta reda på hur långt den underjordiska håligheten når och om fler hem är i riskzonen.
Alla hem i närheten av huset i Seffner - en förort på 8.000 personer 25 kilometer öster om centrala Tampa - har evakuerats.
Tjänstemännen har skapat en 100ft-omfattande säkerhetszon som fruktar att sjunkhålets topp växer.
Huset täcker det mesta av hålet, och en lokal tjänsteman sade att besättningarna skulle försöka flytta byggnaden framåt för att göra det möjligt för överlevande familjemedlemmar att hämta sina tillhörigheter från det.
"Vi vet inte, i själva verket, om det kommer att kollapsa eller om det kommer att hålla," sade Hillsborough County Administratör Mike Merrill.
På söndagen lämnade rivningsteamet bara några få väggar i huset.
De gick så försiktigt som möjligt för att rädda åtminstone en del av hemmets innehåll åt fem överlevande.
En bibel, familjefoton och en kvinnas handväska var bland de föremål som räddades.
Rivningen förväntas vara klar på måndag och experter kommer då att undersöka hålet.
Strax innan besättningen började sitt arbete sågs 35-årige Jeremy Bush, som hade försökt rädda sin bror, be utanför huset.
Fem människor undkom oskadda, efter att ha hört en hög smäll och Jeffrey Bush skrek när jorden föll sönder under huset.
Jeremy Bush sa att han hoppade i avgrunden för att gräva ut sin bror men misslyckades. Han räddades senare av polisen.
Räddare använde sedan hörapparater och kameror på platsen, men fann inga tecken på liv.
"Det finns ingen möjlighet att överleva", sade brandräddnings taleskvinna Jessica Damico på lördag.
Bush berättade för reportrar att någon hade besökt huset med fyra sovrum för några veckor sedan för att leta efter sjunkhål och andra problem men inte funnit något fel.
"Och några månader senare dör min bror. I ett sjunkhål, sa han.
Floridas statliga lag kräver att hemförsäkringsbolag ska skydda sig mot sjunkhål.
Experter säger att mycket av Florida sitter på ett system av kalkstensgrottor som utsätts för vattenerosion, vilket får dem att kollapsa.
Demolitionsbesättningar har delvis rasat hem för en man som antas ha dött efter att ha blivit uppslukad av ett sjunkhål i Florida.