力を加えなくても抜け落ちる髪は、すでに退行期に突入しているものと考えられます。
仮にブラッシングをしなくても、何かの拍子に自然と抜け落ちるでしょう。ブラッシングで頭皮が刺激されると血流が促されるので、抜け毛対策のためにはむしろブラッシングすべきです。