Организация хранения большого количества небольших файлов в нескольких контейнерах с одной точкой монтирования. Как?
======================================================================================================================

 Есть примерно 1,5 терабайта аудио данных (аудиобиблиотеки, музыка и др) как в lossy так и в lossless, на данный момент файлов больше 200 тысяч. Есть как простаивающие данные, так и часто обновляющиеся (изменяются и добавляются новые). Эти данные бэкапятся в облако (зеркалятся между разными облачными дисками). Раньше (и пока что сейчас) данные хранились и бекапились в открытом виде (имею ввиду как есть - обычными файлами), чтобы их можно было просматривать/пользоваться (как в облаке так и локально) и редактировать.  

Так как данных становится все больше, такой вариант хранения и бэкапов больше не устраивает, сейчас загрузка по сети занимает очень много времени (больше недели всей аудиотеки), при значительных изменениях (условно от 50Гб, хотя может быть и больше) частичная загрузка/синхронизация тоже идет долго. Фактически, при доступных 100Мбит/с средняя скорость загрузки ~13Мбит/с (это уже при отключении сверки файлов по md5).  
  

Хочу перейти на хранение в динамических контейнерах (как локально, так и в облаке) и работать только локально примонтировав контейнер. Но тут появляется другая проблема хранения и передачи одного большого контейнера, который может легко запороться если начнутся проблемы с жестким диском и в целом тоже неудобен. Поэтому vhd, veracrypt и подобные решения не подходят.   
  

Сейчас безуспешно ищу контейнер, который может разбиваться на части определенного размера и будет монтироваться как один диск, и в идеале будет безошибочно монтироваться при отсутствующих частях, допустим есть битый файл контейнера (часть контейнера), и контейнер будет монтироваться и работать корректно, но с отсутствием данных из битого файла. Есть ли вообще такой контейнер, который умеет так? Из систем используется как windows (10 версия), так и linux.  
  

Я в принципе готов руками создавать отдельные контейнеры, заполнять их, главное чтобы они монтировались как один диск. Вроде как есть вариант хранения в нескольких vhd в soft raid 0, но даже если это работает все сломается при выходе из строя хотя бы одного контейнера 

 Да никак.  

Во первых контейнеров с такими характеристиками не существует.  

Во вторых контейнеры тут ничем не помогут.  
  

> Фактически, при доступных 100Мбит/с средняя скорость загрузки ~13Мбит/с (это уже при отключении сверки файлов по md5).

Контейнеры тут ничем не помогут.  
  

С файлами без контейнеров работать проще и быстрее.  
  

> и все, бекап и синхронизация уже могут растянуться примерно на пол дня и более

Чем бэкапите?  
  
**Думаю все проблемы из-за того что бэкап идет сразу в облако.**  

 Почти полностью удовлетворяющий вариант пока додумал следующий: каждый конечный каталог проектов и группированных коллекции превратить в динамический vhd и монтировать как папку, воссоздав при этом скелет каталогов до целевых каталогов. Схема примерно такая:  

```
main
-- projects
---- project1.vhd folder
---- project2.vhd folder
---- ...
-- sub1
---- sub1_1
------ library1.vhd folder
------ library2.vhd folder
------ ...
---- collection1.vhd folder
---- ...
-- music
---- discography1.vhd folder
---- ... 
-- ...
```
  

чуть больше ручной работы, но зато каждый конечный vhd самодостаточен и при необходимости можно использовать как отдельно, так и прозрачно в группированной структуре каталогов  
  

единственное что в процессе создания/редактирования временных файлов в одном проекте может быть под 300Гб и более, и есть вероятность потерять весь проект при битом файле, то есть, проблема с небольшими файлами решилась, но появилась проблема с большими файлами - по идее решается руками с нарушением структуры каталогов...  
  

ну и в любом случае загружать/скачивать в таком случае придется больше, чем обычно, что конечно минус, но на практике будет в разы быстрее при работе в пределах одного проекта. Правка 2-3 файлов в относительно большом контейнере конечно выливается в провальный сценарий 

 Вариант хранения всех файлов в облаке с монтированием локально по WebDAV вам не подойдёт? Винда умеет WebDAV-хранилища монтировать как локальный диск. 

 присмотреться к Synology