Brun fluesopp er svært lik rød fluesopp. I likhet med de andre fluesoppene har den både ytre og indre hylle, slik at den får en hudaktig ring på stilken, hudlapper på hatten og en slire ved foten. Den har frie skiver som forblir hvite selv når sporene modnes.