后又跟白川芝山学画，因为付不出学费被白川芝山逐出门外。16岁时，渡边华山师从金子金陵学画，金陵曾经跟随江户画界领袖谷文晁学过南画，技术高超，对华山影响很大。后来，他将华山介绍给谷文晁，在谷文晁画塾“书山楼”学习中国明清画、日本文人画和西洋画，宗法中国清朝画家陈老莲、恽南田，兼取先哲，绘画技艺大进。20岁开始，渡边华山每年的正月画灯笼画，每百幅才卖得一贯文。24岁时，由于家里穷得没钱给父亲买药品治病，在冬天里母亲都没有盖过棉被。在严重恶劣的家庭环境下，渡边华山选择了绘画的道路，也就为他后来成为画家