En 1544 se casó con Anne Ferneley, la viuda de William Read, un comerciante de Londres, pero él todavía continuó residiendo en Amberes, donde tenía su sede comercial.