Wanderers delade företag med Neil Lennon efter att tidigare spelare Dean Holdsworths företag slutfört ett övertagande av Championship-sidan.
Brown gjorde mer än 250 framträdanden för Bolton innan han tjänade som biträdande chef i över sex år.
"Jag har inte haft någon kontakt med Dean Holdsworth", berättade han för BBC Essex.
"Jag har satt spelarna ner i morse. Vi har talat om spekulationer och tidningsrubriker, som ni oundvikligen måste trycka.
"Spekulation kan ta våra spelare och mitt öga av bollen och det är det sista som du behöver i detta skede av säsongen."
The Shrimpers, som befordrades via play-off förra säsongen, är fyra poäng från League One play-off platser med 10 matcher kvar.
"Vi är involverade i att vinna fotbollsmatcher och på lördag behöver vi 100% fokus från mig själv, ledningsgruppen, spelarna och supportrarna," Brown tillade.
"Om supportrarna tror att det finns en manager som står på åskådarplats som inte kommer att vara där om en vecka eller två, kommer du inte att få samma nivå av stöd.
"Vi behöver det just nu. Det är så viktigt att vi får tillbaka-till-back kampanjer och få status som en Championship sida."
Southend chefen Phil Brown har sagt att han inte kommer att ta sin "öga av bollen" trots spekulationer som kopplar honom till hans tidigare klubb Bolton.