Я тоже периодически ношу халаты: шелковые летом, махровые после ванны, иногда хлопковы кимоно. Но обычно в анекдотах фигурирует «засаленный» или «стеганый» халат. Думаю, это такой образ: тетка в бигудях, в засаленном истрепаном халате.