Решения Open Source для дедупликации: Opendedup/SDFS.

Как известно, дедупликация данных — это технология, с помощью которой находится и исключается повторная информация в дисковом хранилище. Например, способом подмены повторных копий данных ссылками на исходный файл. Это решение дает возможность сократить емкость носителей для хранения тех же объёмов информации.

В течении нескольких лет технология дедупликации прошла путь от многообещающей технологии для очень крупных предприятий до почти вездесущего аспекта любого резервного копирования и восстановления.

Дедупликация стала настолько важна, что производители систем хранения данных были вынуждены тратить миллионы - даже миллиарды - на приобретение технологий дедупликации. Например, прошлым летом EMC (NYSE: EMC) приобрел Data Domain за $ 2 миллиарда.

Сейчас мы наблюдаем следующий этап эволюции технологии исключения повторных данных: появление Open Source решений для дедупликации. Сейчас существют решения с открытым исходным кодом от продавцов (Bacula, Nexenta, ВС / Oracle и Zmanda) и некоторых новых игроков, таких как Opendedup, стимулирующие разработку проприетарных систем и в буквальном смысле раздающие собственные технологии.

Opendedup

Представив в марте свое новое решение с открытым исходным кодом, Opendedup сразу попала в заголовки газет. Система дедупликации файловой системы для Linux, известная как SDFS, Opendedup была разработана для предприятий с виртуальной средой и является не только высокопроизводительным, но и масштабируемым и недорогим решением.

По словам одного из разработчиков, Сэма Сильверберга (Sam Silverberg), "целью разработки SDFS было использовать преимущества производительности и масштабируемости, обеспечиваемые основанной на объектах файловой системы с оптимизированной памятью". В итоге: Opendedup / SDFS может обработать петабайт или более данных, поддерживает более 3 ТБ за гигабайт памяти при размере блока данных в 128K; выполняет потоковую дедупликацию на скорости 290 Мб / сек, обладает высокой совокупной производительностью ввода-вывода, поддерживает VMware (и Xen и KVM) и может дедуплицировать блоки размером 4K. Мы не забыли упомянуть, что все это БЕСПЛАТНО?

Opendedup / SDFS устанавливается за 20 минут по стандартной схеме Linux, сказал Сильверберг. И компиляция не требуется. Тома SDFS монтируются и создаются как стнадартные файловые системы Linux и команды знакомы каждому, кто когда либо устанавливал файловую систему в Linux. Для тех кто нуждается в помощи, есть краткое руководство и подробная инструкция на сайте Opendedup.

По мнению Сильверберга, любая организация , в значительной степени использующая виртализацию (SDFS может работать с сотней виртуальных машин через общие или индивидуальные тома, может контролировать и клонировать существующие очень быстро), ищет эффективного способа хранения данных и резервного копирования. SDFS-тома могут выполнять функции резервного копирования на диски и способствовать увеличению пропускной способности интерфейсов ввода/вывода. Кроме того, Сильверберг подчеркивает преимущество для организаций, которым необходимы архивы с огромным количеством данных - SDFS-тома могут быть представлены в виде как централизованных NAS-массивов, так и в виде неструктурированных данных на пользовательских третьих уровнях хранения.

Является ли Opendedup / SDFS действительно достойной альтернативой проприетарным решениям?

"SDFS имеет производительность, масштабируемость и ценовую привлекательность, превосходящие многие проприетарные решения, но я думаб, небесплатные решения также имеют некоторое реальные технические преимущества", сказал Сильверберг. "Например, техническая поддержка 24 часа в сутки семь дней в неделю и репликация не предоставляются сегодня для решений с открытым исходным кодом".

SDFS это файловая система, которая легко устанавливать на устройство хранения, но также с этим решением труднее получить действительно глубокую интеграционную среду с резервным копированием и гипервизором без ухищрений в API, проделанных своими руками.

Однако Сильверберг добавляет, что если организация ищет производительность, масштабируемость и дедупликацию, SDFS - это отличное решение. Именно поэтому Opendedup.org только в первую неделю просмотрели 14000 уникальных посетителей, из которых большинство загрузило Opendedup-SDFS .

Источник:enterprisestorageforum.com