Художник часто путешествовал в поисках натуры. Он был невысокого роста и близорук, что доставляло ему дополнительные сложности в работе. Хасуй Кавасэ был вынужден носить толстые очки. На путешествия он тратил много денег, так что не разбогател, хотя и жил в достатке. Дважды терял свой дом: в 1923 году во время великого землетрясения Канто, а затем — после бомбардировок Токио в 1945 году.