Даже если это не мат в понимаемом нами смысле этого слова, есть слова, которые неуместны. "Сволочь" тоже не мат. Но если вас назовет сволочью ваш ребенок (не маленький, который из детского сада это слово притащил случайно, а скажем школьник или студент) , вы явно не обрадуетесь.