『耳袋』の記述によれば、三右衛門は元々通り油町の仲屋と言う呉服店に丁稚(でっち)から勤め、重手代にまで登りつめた人物とされ、その後、成功して、呉服やその他諸品を商ったとされる。