Robert Fitz Martin war vermutlich ein Sohn des Normannen "Martin de Tiron", der während der normannischen Eroberung nach England gekommen war, und dessen Frau Geva de Burci, einer Tochter des Lords Serlo de Burci. Robert erbte von seinem Vater Dartington und von seiner Mutter "Bladgon" und weitere Besitzungen in Südwestengland. Im Zuge der normannischen Eroberung von Westwales durch König Heinrich I. wurde er um 1108 Lord von "Cemais" im nördlichen Dyfed. Als Mittelpunkt seiner neuen Herrschaft errichtete er Nevern Castle und gründete das Borough Nevern. Mit Hilfe von Mönchen aus dem französischen Kloster "Sainte-Trinité" in Thiron gründete er 1113 anstelle des älteren walisischen Klosters "Llandudoch" ein Benedektinerpriorat, das 1120 zur Abtei "St. Dogmaels" erhoben wurde. 1113 übergab ihm Heinrich I. auch Caldey Island vor der Küste von Südwestwales.