сжатие массивов numpy эффективно

<p>я пытался различными способами сделать сжатие данных при сохранении на диск некоторого <code>numpy arrays</code>.</p><p>эти одномерные массивы содержат дискретизированные данные с определенной частотой дискретизации (это может быть звук, записанный с помощью микрофона или любое другое измерение с помощью любого датчика): данные по существу <em> непрерывны </em> (в математическом смысле; конечно, после выборки это теперь дискретные данные).</p><p>я пытался с <code>hdf5</code> (h5py):</p><pre><code>f.create\_dataset("myarray1", myarray, compression="gzip", compression\_opts=9) </code></pre><p>но это довольно медленно, и степень сжатия не самое лучшее, что мы можем ожидать.</p><p>я тоже пробовал с</p><pre><code>numpy.savez\_compressed() </code></pre><p>но, опять же, это может быть не лучший алгоритм сжатия для таких данных (описанный ранее).</p><p><strong>что бы вы выбрали для лучшей степени сжатия в <code>numpy array</code>, с такими данными?</strong></p><p>(я думал о таких вещах, как flac без потерь (изначально предназначенный для аудио), но есть ли простой способ применить такой алгоритм к крошечным данным?)</p>

<ol> <li> <p>шум несжимаемый. таким образом, любая часть данных, которая у вас есть, которая является шумом, попадет в сжатые данные 1: 1 независимо от алгоритма сжатия, если только вы не отбросите их каким-либо образом (сжатие с потерями). если у вас есть 24 бита на выборку с эффективным числом битов (enob), равным 16 битам, оставшиеся 24-16 = 8 битов шума ограничат ваш максимальный коэффициент сжатия без потерь 3: 1, даже если ваши (бесшумные) данные <em> идеально </em> сжимаемо. неоднородный шум сжимается до такой степени, что он неоднороден; вы, вероятно, хотите взглянуть на эффективную энтропию шума, чтобы определить, насколько это сжимаемо.</p> </li> <li> <p>сжатие данных основано на его моделировании (частично для удаления избыточности, но также частично, чтобы вы могли отделиться от шума и отбросить шум). например, если вы знаете, что ваши данные имеют полосу пропускания, ограниченную 10 мгц, и вы производите выборку на частоте 200 мгц, вы можете сделать бпф, обнулить высокие частоты и сохранить коэффициенты только для низких частот (в этом примере: 10: 1 сжатие). с этим связано целое поле, называемое "сжатие".</p> </li> <li> <p>практическое предложение, подходящее для многих видов достаточно непрерывных данных: шумоподавление -> ограничение полосы пропускания -> дельта-сжатие -> gzip (или xz и т.д.). denoise может быть таким же, как ограничение полосы пропускания, или нелинейным фильтром, таким как текущая медиана. ограничение полосы пропускания может быть реализовано с помощью fir/iir. дельта-сжатие - это просто y [n] = x [n] - x [n-1].</p> </li> </ol><p><strong>edit</strong> иллюстрация:</p><pre><code>from pylab import * import numpy import numpy.random import os.path import subprocess # create 1m data points of a 24-bit sine wave with 8 bits of gaussian noise (enob=16) n = 1000000 data = (sin( 2 * pi * linspace(0,n,n) / 100 ) * (1<<23) + \ numpy.random.randn(n) * (1<<7)).astype(int32) numpy.save('data.npy', data) print os.path.getsize('data.npy') # 4000080 uncompressed size subprocess.call('xz -9 data.npy', shell=true) print os.path.getsize('data.npy.xz') # 1484192 compressed size # 11.87 bits per sample, ~8 bits of that is noise data\_quantized = data / (1<<8) numpy.save('data\_quantized.npy', data\_quantized) subprocess.call('xz -9 data\_quantized.npy', shell=true) print os.path.getsize('data\_quantized.npy.xz') # 318380 # still have 16 bits of signal, but only takes 2.55 bits per sample to store it </code></pre>

<p>что я делаю сейчас:</p><pre><code>import gzip import numpy f = gzip.gzipfile("my\_array.npy.gz", "w") numpy.save(file=f, arr=my\_array) f.close() </code></pre>

<p>сохранение файла hdf5 со сжатием может быть очень быстрым и эффективным: все зависит от алгоритма сжатия, и от того, хотите ли вы, чтобы оно было быстрым при сохранении, или при чтении обратно, или в обоих случаях. и, естественно, о самих данных, как это было объяснено выше. gzip имеет тенденцию быть где-то посередине, но с низкой степенью сжатия. bzip2 медленный с обеих сторон, хотя и с лучшим соотношением. blosc - один из алгоритмов, который я нашел, чтобы получить довольно сжатие, и быстрое на обоих концах. недостатком blosc является то, что он реализован не во всех реализациях hdf5. таким образом, ваша программа не может быть переносимой. вам всегда нужно сделать хотя бы несколько тестов, чтобы выбрать лучшую конфигурацию для ваших нужд.</p>

<p>во-первых, для общих наборов данных аргумент <code>shuffle=true</code> для <code>create\_dataset</code> значительно улучшает сжатие с помощью приблизительно непрерывных наборов данных. он очень умно переставляет биты, которые должны быть сжаты, так что (для непрерывных данных) биты меняются медленно, что означает, что они могут быть сжаты лучше. по моему опыту, это немного замедляет сжатие, но может существенно улучшить степень сжатия в моем опыте. это <em> не </em> с потерями, так что вы действительно получаете те же данные, что и положили.</p><p>если вам не очень важна точность, вы также можете использовать аргумент <code>scaleoffset</code>, чтобы ограничить количество хранимых битов. будьте осторожны, потому что это не то, как это может звучать. в частности, это <em> абсолютная </em> точность, а не <em> относительная </em> точность , например, если вы передадите <code>scaleoffset=8</code>, но ваши точки данных будут меньше <code>1e-8</code>, вы просто получите нули. конечно, если вы масштабировали данные до максимального значения около 1 и не думаете, что слышите различия, меньшие, чем часть на миллион, вы можете передать <code>scaleoffset=6</code> и получить отличное сжатие без особой работы.</p><p>что касается аудио, я ожидаю, что вы правы в желании использовать flac, потому что его разработчики приложили огромные усилия, уравновешивая сжатие с сохранением различимых деталей. вы можете <a href="http://docs.scipy.org/doc/scipy/reference/generated/scipy.io.wavfile.write.html">преобразовать в wav с помощью scipy</a> и <a href="https://stackoverflow.com/questions/23925494/how-to-convert-wav-to-flac-from-python">затем в flac</a> .</p>

<p>то, что представляет собой лучшее сжатие (если оно есть), сильно зависит от характера данных. многие виды данных измерений практически полностью несжимаемы, если действительно требуется сжатие без потерь.</p><p>документы pytables содержат много полезных рекомендаций по сжатию данных. это также детализирует компромиссы скорости и так далее; оказывается, более высокие уровни сжатия обычно являются пустой тратой времени.</p><p> <a href="http://pytables.github.io/usersguide/optimization.html">http://pytables.github.io/usersguide/optimization.html</a> </p><p>обратите внимание, что это, вероятно, так же хорошо, как и получится. для целочисленных измерений комбинация случайного фильтра с простым сжатием типа zip обычно работает достаточно хорошо. этот фильтр очень эффективно использует обычную ситуацию, когда байт старшего байта обычно равен 0 и включен только для защиты от переполнения.</p>

<p>вы можете попробовать <a href="http://blz.pydata.org/">blz</a> . он может сжимать двоичные данные очень эффективно.</p><pre><code>import blz # this stores the array in memory blz.barray(myarray) # this stores the array on disk blz.barray(myarray, rootdir='arrays') </code></pre><p>он <a href="http://blz.pydata.org/blz-manual/tutorial.html#creating-barrays">хранит</a> массивов в файле или сжатый в памяти. сжатие основано на <a href="http://www.blosc.org/">blosc</a> . смотрите <a href="http://pyvideo.org/video/2811/blaze-building-a-foundation-for-array-oriented-c">scipy video</a> для некоторого контекста.</p>