Init pByNum lazily