結論からいうと、緊急性は低いものの、トックリバチの巣は緊急性は低いものの、​​​​​​​駆除したほうが良いと思います。
たしかに、トックリバチ自体は温厚な性格で、スズメバチやアシナガバチより毒性が低いです。
トックリバチは庭の青虫やクモを狩ってくれるため、「益虫だから駆除しなくてもよい」と考える人もいるでしょう。
ただしトックリバチは毒針を持つため、家の周りを飛び回っている場合、刺される可能性もあります。
家の壁にアオムシやクモが入った巣があると、「何となく不快だ」と感じる人もいるでしょう。
なので、とくに小さいお子さんがいるお家では、トックリバチの巣を見かけたら駆除することをオススメします。