说：「这孩子容貌不寻常，一定会有成就。」南梁太清末年，陈蒨曾在临安避居，骆牙的母亲陈氏看到陈蒨的样貌，知导他并非常人，对他待遇很好。及后陈蒨担任吴兴太守，推荐骆牙作将帅，跟随平定杜龛、张彪等人，每次战事他都会冲锋陷阵，在军队中最为勇勐，以功获授直合将军；太平二年（557年）因母亲逝世辞官。陈蒨镇守会稽，起用为山阴县令。南陈永定三年（559年），朝廷委任他为安东府中兵参军，出镇冶城，不久和陈蒨于南皖拒守王琳。陈蒨即位为陈文帝，授与骆牙假节、威虏将军、员外散骑常侍，封临安县侯，食邑五百户。很快他出任临安县令