Si Cavendish ay isang tahimik at mapag-isang tao at nailarawan na medyo eksentriko ng marami. Siya ay nakikipag-usap lamang sa kanyang mga babaeng katulong sa pamamagitan ng mga sulat(notes) at hindi kailanman lumikha ng malapit na personal na pakikipagugnayan sa labas ng kanyang pamilya. Sa isang salaysay, si Cavendish ay may likurang hagdanan na inilagay sa kanyang bahay upang maiwasan ang pakikisalumaha sa kanyang katulong dahil siya ay sobrang mahiyain sa mga babae. Ang mga kontemporaryong salaysay ng kanyang personalidad ay nagdulot sa mga modernong komentador gaya ni Oliver Sacks na magpalagay na si Cavendish ay may Sindromang Asperger bagaman maaaring si Cavendish ay talaga lang sobrang mahiyain. Ang kanyang tanging paraan ng pakikisalamuha sa tao ang Royal Society Club kung saan ang mga miyembro nito ay nagsasalo-salo bago ang lingguhang pagpupulong. Bihirang laktawan ni Cavendish ang mga pagpupulong na ito at siya ay iginagalang ng kanyang mga kasama. Gayunpaman, ang kanyang pagiging mahiyain ay nagdulot sa mga ""naghahangad ng kanyang mga pananaw... na magsalita na parang sa isang kawalan... Kung ang kanilang mga pahayag ay... karapatdapat, sila ay maaaring makatanggap ng pabulong na sagot ngunit sa kalimitan, sila ay makakarinig ng inis na langitngit(squeak o mataas na tinig) at sa pag-harap kay Cavendish ay mahahanap ang isang aktwal na kawalan at ang tanawin ng paglisan ni Cavendish upang humanap ng mas mapayapang sulok"". "" Kanya ring ikinasisiya ang pangongolekta ng magagarang mga muwebles na nakita sa kanyang mismong pagbili ng isang hanay ng ""sampung inukit na silyang kahoy na satin na may kapares na binintian ng cabriole na sofa.