BUG: fix ValueError for byte_bounds() on datetime array
close gh-4345