ここでの「business」とは関心や興味という意味です！そのため「not anybody's business」は他の人には関係がないと言っているのですね。これがもし他の人の「business」だったとしたら、それは「their concern」ということになります。この事柄に誰かを巻き込んだり、共有する必要はないということですね。
例：It's not my friend's business to know what I'm doing all the time. （私がいつも何をしているかについて、友人たちが知る必要はない。）
例：This issue isn't everybody's business. This is between you and me. （この問題は皆には関係ありません。私とあなたの問題です。）