Sim, um site pode baixar malware em seu computador, tablet ou smartphone. Mas somente você pode executar esse arquivo! Se você não executar o arquivo, o malware não poderá infectar seu dispositivo.
Mas você precisa ter cuidado. Muitas vezes, você será induzido a abrir um arquivo de música, documento do Word ou algum outro tipo de arquivo que parece legítimo, apenas para ser vítima de um ataque de malware.
Se você possui um antivírus confiável instalado como o Norton ou o McAfee, isso não aconteceria.