Это устойчивое выражение в русском языке, посмотрите его значение. Даже, если не доверять толкованию словарей, я в своей жизни встречала исключительно случаи, когда говорили " без комплексов"  наглецам и хамам...Собственно, об этом и написала. По факту некоторые из них, про остальных не знаю, были с большими тараканами и скелетами в шкафу. Про странно одетых говорят обычно- чудной, фрик, с приветом или "чем чуднее, тем моднее".