湾的海岸线与牛角相似而得名，并对望隔岸的马头角。另有牛头寮一名，或跟后来的寮屋区有关。
历史.香港开埠初期，市区需要大量建筑石材。牛头角一带客家人聚居，曾盛行採石业，与茜草湾、茶果岭和鲤鱼门，合称为九龙四山。百多年前的客家沥源九约竹枝词中，便描述到四山中的牛头角：「……清游忽到苏茅坪，瞥见牛头角又生。茜草湾前多石匠，仙歌嘹亮一声声……」。1950年代初，东九龙地区与牛头角一带都是荒凉之地，只是一片山头，在山谷中只有几户农家。据《观塘风物志》所载，牛头角从前乃九龙湾伸延出海的海角