儿岛惟谦幼名「雅次郎」，成年后用名五郎兵卫、谦蔵，儿岛惟谦是他脱藩后为行事方便起的化名，明治维新后他没有改回原名，而是一直把这个化名使用下去。儿岛惟谦也是关西大学的创办人之一。
早年.1837年（日本天保八年）生于宇和岛藩宇和岛城下的一个藩士家庭，是家中的次子。童年时期，曾被家中送到酿酒厂工作。少年时代，他曾在的道场中修习剑术。后来成为大坂财界重要人物的这期间也在这个道场修习，以此为契机，两人结下了友情。此外，他早年曾在高知、长崎等地游历，在此期间与坂本龙马、五代友厚等