среда, 30 марта 2011 г.

Государство начинает бурную деятельность по защите наших личных данных?

Не для кого не секрет, что узнать данные человека по номеру телефона напрямую в сотовой компании (например через знакомых) не представляет особого труда. Также точно при желании, а также с помощью некоторого количества денег можно собирать информацию из многих других источников, где мы регулярно оставляем свои анкеты, большие и маленькие, с данными разного уровня ценности. Закон, конечно, нас защищает, только как всегда, лишь на бумаге.

В прошлом году прокуратура Кировского района Ярославля возбудила дело против заместителя гендиректора кадрового агентства "Поиск". Причина - результаты проверки, которую провели чиновники Роскомназдора, уполномоченные контролировать выполнение закона №152-ФЗ "О персональных данных". Он вступил в силу в январе 2007 года, но предпринимателям дали время на "докрутку" информационных систем. Сначала до 1 января 2010 года, затем срок был увеличен еще на 1 год, теперь еще на полгода - до 1 июля 2011 года. Пока что наказание за невыполнение закона невелико, но проверки выполнения его требований уже идут. Например, все компании, которые работают с персональными данными (это более 5 млн фирм) должны подать заявку о регистрации в Роскомнадзор. Однако это сделали всего чуть более 175 000 компаний. Все остальные - формальные нарушители. Топ-менеджер "Поиска" отделался штрафом в 500 рублей. Однако с 1 июля 2011 года наказание за несоблюдение закона будет уже совершенно иным, а к проверкам вплотную подключатся ФСТЭК (Федеральная служба по техническому и экспортному контролю) и ФСБ.

"Четверокнижие" и другие требования

Закон был принят, поскольку Россия еще в 2001 году присоединилась к Конвенции о защите физических лиц при автоматизированной обработке персональных данных. Разъяснить технические требования к компаниям должны были документы ФСТЭК. В начале 2008 года служба выпустила четыре нормативных документа (известны как "четверокнижие") с подробными инструкциями по исполнению ФЗ-152. Но по факту они-то и создали противоречия. ФСТЭК всегда занималась охраной государственной тайны и по сути повторила в инструкциях режимные требования, предъявляемые к системам, обрабатывающим гостайну.

"Четверокнижие", например, предписывало устранять утечку информации по акустическому и виброакустическому каналам. То есть если в переговорной комнате идет совещание, где упоминаются персональные данные, предполагается, что за окном может подслушивать потенциальный нарушитель. Такую угрозу стоило устранять при помощи создания зашумления с помощью специальных приборов - например, пассивных акустических колонок. Сейчас подобные угрозы уже не считаются актуальными, но все компании должны использовать средства информационной безопасности, которые получили сертификат ФСТЭК: он подтверждает соответствие IТ-решений требованиям ФЗ-152.

Требования двух других регуляторов - Роскомнадзора и ФСБ, - на первый взгляд, не так архаичны. Однако они предполагают наличие в штате компании специалиста по защите персональных данных, способного разобраться в многостраничных регламентах и подготовить минимальный набор документации. Таких людей готовят лицензиаты ФСТЭК и ФСБ России, а также более 30 обучающих центров по всей России. Опытных специалистов немного - их можно искать в штате системных интеграторов или крупных операторов связи. Зарплаты - от 40 000 рублей.

Большинство компаний просто не выполняют требований закона. Примеров серьезных последствий неисполнения закона пока не было. Самая строгая мера, которая применялась к нарушителям, - штраф до 10 000 рублей. Поэтому для небольшой компании до сих пор выгоднее было вообще ничего не предпринимать в отношении ФЗ-152. Однако с 1 июля 2011 года последствия будут более серьезными - в случае проверки ФСТЭК и ФСБ компанию могут лишить права заниматься основным видом деятельности и оштрафовать на сумму до 500 000 рублей. Более того, законом предусмотрен арест собственника бизнеса, лишение его свободы на срок до 5 лет и исправительные работы сроком до года. "В качестве первоочередных мер мы рекомендуем компаниям изучить план проверок, размещенный на официальном сайте Генпрокуратуры. Это поможет понять сроки плановых проверок, которые могут грозить организации", - советует Михаил Башлыков, руководитель направления информационной безопасности компании КРОК.

Трудности исполнения

Одним из путей решения проблемы с ФЗ-152 может стать формирование отраслевых стандартов. Так, Центробанк совместно с банковским сообществом разработал стандарт Банка России, который полностью соответствует требованиям ФЗ-152 и значительно упрощает банкам его выполнение. К стандарту сегодня присоединились более 600 кредитных организаций - это более половины всех банков России. По оценке Артема Сычева, начальника управления информационной безопасности Россельхозбанка, работы по приведению в соответствие с требованиями стандарта могут стоить от 1,5 млн рублей. Продолжительность такого проекта - не менее 3 лет. Привлечение внешнего консультанта в этом случае предпочтительно, однако не исключена возможность реализовать проект силами самого банка. Как правило, это зависит от уровня рисков и объемов бизнеса. Ряд отраслевых сообществ (страховщики, телеком, медицина) уже пошли по пути разработки отраслевых стандартов.

По оценкам экспертов, готовы к началу проверок менее 1% компаний. И дело в самом законе. Власть не просто заставляет защищать персональные данные, а говорит, как именно это делать. Предлагаемые методы защиты не работают, но стоят больших денег. К тому же выполнение требований, которые не привязаны к актуальным рискам, неэффективно. Компании вынуждены покупать зачастую плохие решения, у которых, кроме сертификата ФСТЭК, нет никаких рыночных преимуществ. К сожалению, основным мотивом, толкающим компании на проведение работ, является не стремление улучшить защиту данных граждан, а желание пройти проверку регуляторов.

На 2011 год запланировано 2929 проверок.

Источник: Forbes Russia, Astera

понедельник, 28 марта 2011 г.

Облачные технологии уже у вас дома

Компания Pogoplug, известный поставщик аппаратных решений для хранения данных и организации удаленного доступа к ним, анонсировала свой новый продукт. Пользователям, знакомым с продукцией компании, предстоит разрушить стереотип, прочно связывающий имя производителя с современным оборудованием. Решение, на данный момент пребывающее на стадии бета-тестирования, известно под рабочим именем Pogoplug Beta и представляет собой кросс-платформенный программный продукт.

Как объясняют сами производители, крайне простое в развертывании, настройке и эксплуатации, программное обеспечение Pogoplug Beta превратит домашний или офисный компьютер в персональный «облачный» файловый сервер и сервер печати.

Сразу же после установки Pogoplug Beta на свой компьютер пользователь сможет обращаться к данным на жестком диске из любой точки земного шара и практически с любого устройства. Производитель уже анонсировал клиентские приложения для мобильных устройств iPhone, iPad и Android, с помощью которых можно, к примеру, организовать потоковую передачу аудио и видеоматериалов на перечисленные девайсы. Медиа-контент также может транслироваться на игровые консоли Xbox 360 и PlayStation 3, телевизоры, подключаемые к Интернету и современные медиа-проигрыватели.

Впрочем, этим список возможностей продукта не ограничивается. Pogoplug Beta также может использоваться для вывода документов на удаленный принтер (при условии предварительной установки на жесткий диск ПК специального драйвера), предоставляет широкие возможности взаимодействия с файлами и может похвастаться поддержкой любых внешних носителей, подключенных к компьютеру.

К сожалению, в настоящий момент тестирование продукта осуществляется в закрытом режиме. Заинтересованным пользователям необходимо зарегистрироваться на официальном сайте и запастись терпением в ожидании приглашения. Разумеется, предлагаемая «бета» является совершенно бесплатной, однако финальная версия продукта будет распространяться на коммерческой основе.

Настольное приложение Pogoplug Beta совместимо с операционными системами Windows XP, Vista и Windows 7, а также Mac OS X 10.6 и более поздними версиями.

Источник: DownloadSquad, SoftLine

пятница, 25 марта 2011 г.

Microsoft: путь от виртуализации к частному облаку лежит через управление сервисами

На конференции Microsoft Management Summit корпорация Microsoft представила детальный обзор следующего поколения решения для построения частного облака на базе System Center 2012. Решение включает в себя все необходимые инструменты для автоматизированного развертывания и поддержки частных облаков на базе гипервизоров Microsoft, VMWare и Citrix.

Отличительной особенностью нового поколения частных облаков от Microsoft являются мощные интегрированные средства работы с приложениями, которые охватывают все этапы их жизненного цикла и работают в облачной среде. Значительный фокус сделан на сценариях самообслуживания, включая управление сложными приложениями.На конференции Microsoft Management Summit корпорация Microsoft представила детальный обзор следующего поколения решения для построения частного облака на базе System Center 2012. Решение включает в себя все необходимые инструменты для автоматизированного развертывания и поддержки частных облаков на базе гипервизоров Microsoft, VMWare и Citrix. Отличительной особенностью нового поколения частных облаков от Microsoft являются мощные интегрированные средства работы с приложениями, которые охватывают все этапы их жизненного цикла и работают в облачной среде. Значительный фокус сделан на сценариях самообслуживания, включая управление сложными приложениями.

System Center для частного облака

Решение System Center 2012, выход которого запланирован позднее в этом году, расширяет функциональность уже известных компонентов, а также включает абсолютно новые компоненты, разработанные специально для облачных инфраструктур.

Ключевым компонентом для построения инфраструктуры динамических ЦОД и частных облаков является System Center Virtual Machine Manager 2012. Новая версия уже доступна для бета-тестирования. Ключевые изменения System Сenter Virtual Machine Manager 2012 можно разделить на несколько категорий:

  • Управление фабрикой центра обработки данных
    • Управление жизненным циклом серверов виртуализации, включая обнаружение новых серверов по сети (даже без ОС), установку гипервизора Hyper-V прямо на аппаратную часть, централизованное создание кластера из узлов Hyper-V, управление обновлениями кластера.
    • Динамическое управление сетью: пулами IP-адресов, MAC-адресами и балансировщиками нагрузки.
    • Динамическое управление хранилищами: создание хранилищ, управление наборами хранилищ и LUN.
    • Кроссплатформенность: управление платформами виртуализации Microsoft Hyper-V, Citrix XenServer, VMWare vSphere.
  • Динамическая оптимизация использования ресурсов
    • Оптимизация энергопотребления ЦОД за счет консолидации активных нагрузок на нескольких серверах и отключения бездействующих устройств.
    • Новые сценарии оптимизации производительности и использования ресурсов (Performance and Resource Optimization, PRO) ЦОД.
  • Управление облачной инфраструктурой
    • Объединение серверов, сети и дисковых ресурсов в частные облака.
    • Управление доступом к частным облакам с возможностью контроля емкости, возможностей и квот пользователя.
    • Предоставление самообслуживания по созданию, развертыванию, управлению и свертыванию приложений в частном облаке.
  • Управление жизненным циклом сервисов
    • Создание шаблонов служб, в том числе использующих сложную многозвенную архитектуру, на базе виртуальных машин, образов операционных систем и пакетов приложений.
    • Масштабирование сервиса с помощью увеличения количества виртуальных машин, отвечающих за определенные роли (например, веб-серверы).
    • Мониторинг производительности сервиса и его состояния за счет интеграции с System Center Operations Manager.
    • Разделение обновления образов ОС и приложений с помощью обслуживания на основе образов.
    • Виртуализация серверных приложений Server App-V.
Также будут внесены значительные изменения и в другие компоненты System Сenter:
  • В System Center Operations Manager 2012 будут интегрированы технологии AVIcode для глубокого мониторинга и отладки приложений на базе Microsoft .NET and J2EE. Инструмент также предлагает новую панель управления, которая помогает лучше контролировать выполнение SLA (service-level agreement) и производительность сети.
  • System Center Data Protection Manager 2012 будет включать новые возможности для централизованного резервного копирования и защиты, в том числе более глубокую интеграцию с Hyper-V, SharePoint и поддержку дедупликации.
  • System Center Orchestrator (ранее известный под кодовым именем «Opalis»), являющийся платформой для автоматизации сложных ИТ-процессов, станет более тесно интегрирован с остальными компонентами System Center и получит новые сценарии процессов. Это позволит снизить издержки и одновременно повысить надежность и предсказуемость сервисов ЦОД.
  • System Center Service Manager 2012 позволит администраторам ЦОД, ИТ-менеджерам бизнес-подразделений, разработчикам и конечным пользователям самостоятельно делать запросы, в том числе на предоставление облачных сервисов.
Кроме того, System Center получит ряд дополнительных компонентов:
  • System Center Project (кодовое имя «Concero») представляет собой портал для самостоятельного управления сервисами в облачной инфраструктуре. С помощью портала потребитель облачных ресурсов сможет развертывать новые сервисы, настраивать их и отслеживать текущее состояние. Важно отметить, что в качестве облачных ресурсов могут использоваться как частные облака, так и публичное облако Microsoft Azure.
  • System Center Advisor (ранее известный под кодовым именем «Atlanta») представляет собой защищенный облачный сервис, который оценивает конфигурацию серверов в соответствии с рекомендациями и позволяет отслеживать изменения, которые производятся над серверами. Релиз-кандидат технологии доступен уже сегодня.

Hyper-V Cloud: виртуализация как первый шаг

На Microsoft Management Summit также обсуждались конкретные действия, с помощью которых заказчики могут начать движение в направлении облачных вычислений уже сегодня. В качестве естественного начала трансформации ИТ выступает активное внедрение виртуализации с расширенным управлением. Выбор платформы Microsoft является наиболее обоснованным по целому ряду причин, в числе которых:

  • Низкий уровень затрат на приобретение, внедрение и поддержку решений по сравнению с конкурентами.
  • Тесная интеграция с остальными продуктами и решениями Microsoft, оптимизация производительности работы серверных нагрузок, таких как SQL Server, SharePoint, Exchange и т.д.
  • Возможность гибкого выбора стратегии перехода в облако, сочетающей как использование частных облачных ресурсов, так и практически неограниченных возможностей публичного облака Microsoft Azure.
  • Понятная «дорожная карта» внедрений технологий, начиная с виртуализации к и заканчивая частным и публичным облаком, поддержанная программой Hyper-V Cloud.

среда, 23 марта 2011 г.

Серверы Sun обречены

27 января исполнился год с того дня, когда глава Oracle Ларри Эллисон объявил о завершении поглощения Sun Microsystems, которое стало основой для Oracle Hardware. Опубликованные в марте квартальные отчеты Gartner и IDC свидетельствуют о том, что, несмотря на общий рост серверного рынка, падение продаж доставшихся в наследство Oracle Hardware Unix-серверов на базе процессоров Sparc за 2010 год не только не прекратилось, но только ускоряется. По данным Gartner, в последнем квартале прошлого года продажи серверов Oracle были на 16,2% меньше, чем у Sun в конце 2009 г., а доля Oracle сейчас равна только 5,5% общего серверного рынка, хотя в 4 квартал 2010 года у Sun было 7,6%. В штучном выражении поставки серверов Oracle упали на 40,8%, и сейчас ее доля - всего 1.5% всех проданных серверов. IDC оценивает падение примерно в 14% как в деньгах, так и в штуках. Как известно, Oracle Hardware также производит серверы стандартной архитектуры, продажи которых, по данным IDC, за год в мире выросли на 2,2%, однако они не смогли компенсировать падение продаж Sparc-систем.

Судя по всему, бывшие клиенты Sun постепенно переходят со Sparc-серверов на серверы стандартной архитектуры других вендоров. Причина этого, по мнению Льва Левина, эксперта издания «Бестселлеры IT-рынка», — не только выход нового поколения процессоров Intel Xeon и AMD Opteron, но и неопределенные перспективы технологии Sparc. Хотя Эллисон и другие представители Oracle неоднократно заявляли о ее поддержке, однако за год корпорация так и не представила четкого плана выпуска новых процессоров. Стоит также отметить, что текущие старшие модели Sparc-серверов вышли на рынок еще в 2006 года, и за прошедшие пять лет HP и IBM уже дважды обновили поколения своих Unix-серверов. Бывшие клиенты Sun также недовольны новыми условиями технической поддержки Oracle, которая отказалась от применения гибких схем выбора сервисов. Поэтому затраты на владение Sparc-серверов у многих клиентов за год значительно выросли (они вынуждены приобретать весь пакет сервисов, даже если им требуется только его часть).

И это не случайно. Oracle решила позиционировать себя не просто как поставщика серверов, а как поставщика комплексных решений Enterprise-уровня. Причем компания использует не вполне стандартный подход для подобного trade-маркетингового продвижения себя на рынке. Дело в том, что компания отсеивает мелких партнеров, установив высокую «абонентскую плату» за сертифицированное партнерство. К слову, данный статус дает действительно ощутимое преимущество за счет возможности подробной консультации и доступа к сервисным инструментам от Oracle, которые позволяют конфигурировать серверы. Менеджеры российского отделения Oracle, занимающиеся оформлением партнерства с реселлерами, пояснили NStor, что такой фильтр является следствием официальной позиции корпорации, которая намерена работать только с крупными интеграторами, которые способны и нацелены реализовывать проекты, включающие большой комплекс аппаратно программных компонентов с превалированием последних. Причем и проекты эти весьма масштабны, а, значит, сектору SMB особо не стоит рассчитывать на доступные решения на базе Sparc-архитектуры Sun/Oracle. Такой подход позволяет владельцу наследства Sun обеспечивать своему бизнесу приемлемую маржинальную прибыль, ибо продажа Hardware-продуктов, по заверениям специалистов компании, не приносит компании ощутимого дохода.

Судя по такому регрессивному, с точки зрения «железячного» бизнес-приоритета, подходу, наследие Sun ждет неизбежный и достаточно скорый закат.

Кругляк Валерий, Руководитель отдела маркетинга NStor

понедельник, 21 марта 2011 г.

Sony присоединяется к Canon и Intel в поддержке интерфейса Thunderbolt

К недавней инициативе Canon по поддержке нового интерфейса передачи данных от Intel - Thunderbolt, присоединилась Sony.

Вынашиваемый компанией Intel интерфейс Light Peak недавно был выведен на рынок под наименованием Thunderbolt. В текущей версии интерфейса от использования оптических каналов передачи информации пришлось отказаться, но при длине кабеля не более трёх метров даже сейчас гарантируется скорость передачи информации до 10 Гбит/с. К одному порту Thunderbolt, который конструктивно совместим с разъёмом mini-DisplayPort, можно подключить до семи устройств, они могут также получать до 10 Вт электрической мощности. Подключаемые устройства могут передавать информацию по протоколам DisplayPort или PCI Express.

Как сообщает сайт Sony Insider, компания Sony будет использовать интерфейс Thunderbolt в одном из своих оригинальных мобильных компьютеров семейства VAIO. Сверхтонкий ноутбук на базе процессора Core i7 будет работать без подзарядки от 8 до 16,5 часов, а интерфейс Thunderbolt позволит подключать к нему фирменный внешний модуль, который будет содержать дискретную видеокарту AMD, оптический привод Blu-ray и внушительный набор интерфейсных разъёмов. Это будет своего рода "выносная док-станция" с собственной видеокартой. Попытки снабдить ноутбуки внешней видеокартой уже предпринимали компании Fujitsu, AMD и Asus, с появлением интерфейса Thunderbolt мы сможем наблюдать возрождение интереса к этой идее.

Sony также собирается выпустить ноутбук на базе процессора Tegra 2 с 11.6" экраном и экономичной дискретной видеокартой GeForce, который будет работать под управлением Google Chrome OS, и унаследует раскладку клавиатуры у "эталонного" ноутбука Google Cr48. Толщина ноутбука Sony не превысит 20 мм, а масса - одного килограмма. Время работы без подзарядки достигнет восьми часов. Этот ноутбук будет выпущен летом 2011 года.

Источник: sonyinsider.com, overclockers.ru, NStor Blog

четверг, 17 марта 2011 г.

ВКонтакте: 10 тысяч серверов и 11 млрд запросов

Почти 100 миллионов пользователей — такова аудитория ВКонтакте, которую надо обслуживать. Быстро и без перебоев. Долгое время подробности технической реализации ВКонтакте оставались секретом. Но недавно самая популярная в России социальная сеть пролила немного света на то, как она все-таки устроена. В конце октября в Москве состоялась конференция HighLoad++, на которой представители ВКонтакте в лице Павла Дурова и Олега Илларионова, наконец, рассказали кое-что об архитектуре социальной сети.

Парней буквально завалили вопросами по совершенно различным аспектам работы ВКонтакте, в том числе и техническим. Еще бы. Легко представить нагрузку на серверную часть сервиса: как много людей ты знаешь, которые не пользуются этой социальной сетью? А сколько времени ты там проводишь, тратя бесценные часы своей жизни на общение с друзьями, просмотр видео, игры, музыку? Математика довольно проста: баснословное количество пользователей, помноженное на массу проведенного времени на ресурсе = запредельное количество запросов к веб-серверам и базе данных + терабайты постоянно загружаемых и просматриваемых фотографий, видео и аудио.

Взаимодействие участников социальной сети происходит практически в режиме реального времени: все друзья должны немедленно узнавать о том, что произошло с каждым из участников. Сайт должен быть доступен 100% времени. Как это удается?

Статистика ВКонтакте

  • 99,5 миллионов учетных записей.
  • 40 миллионов активных пользователей во всем мире (сопоставимо с аудиторией интернета в России).
  • 11 миллиардов запросов в день.
  • 200 миллионов личных сообщений в день.
  • Видеопоток достигает 160Гбит/с.
  • Более 10 тысяч серверов, из которых только 32 — фронтенды на nginx (количество серверов с Apache неизвестно).
  • 30-40 разработчиков, 2 дизайнера, 5 системных администраторов, много людей в дата-центрах.
  • Каждый день выходит из строя около 10 жестких дисков.

Платформа

Особый интерес представляет именно архитектура проекта: как взаимодействуют основные компоненты системы, какие собственные разработки потребовались, какими трюками пришлось воспользоваться. Но прежде, чем перейти к ней, необходимо ознакомиться с базовыми вещами — используемыми технологиями и продуктами.

В качестве основной операционной системы используется Debian Linux — решение, проверенное временем, один из самых старых и стабильных современных дистрибутивов. Для балансировки нагрузки между серверами приложений используется HTTP-сервер nginx, работающий в режиме reverse proxy. В его обязанности входит держать соединение с браузером пользователя и передавать запросы серверам, ответственным за исполнение PHP-кода, а также контролировать попадание результата обратно в браузер. PHP-код исполняется посредством модуля mod_php для Apache — альтернативных вариантов довольно много, особенно на основе протокола FastCGI, но руководство ВКонтакте пошло по более консервативному пути в этом вопросе, воспользовавшись самым проверенным временем решением. Никаких особых систем оптимизации производительности PHP-кода не используется (например, в Facebook написали свой компилятор из PHP в C под названием HipHop), единственной внешней оптимизацией является кэширование оп-кода посредством всем доступного решения XCache.

Ситуация с хранением данных выглядит достаточно размыто: с одной стороны, активно используется собственная система управления базами данных, написанная на C и созданная "лучшими умами" России, с другой — часто упоминалась MySQL в роли основного хранилища. Подробнее про собственную базу данных ВКонтакте ниже. Говоря о хранении данных, нельзя не упомянуть о таком важном аспекте, как кэширование часто используемой информации (расположение её в оперативной памяти для быстрого доступа). Для этого используется очень популярный продукт в этой области — memcached. Если ты не слышал: эта система позволяет осуществлять очень простые атомарные операции, такие как расположение и получение произвольных данных по ключу. Основной фишкой является молниеносно быстрый доступ и возможность легкого объединения оперативной памяти большого количества серверов в общий массив для временного хранения "горячих" данных.

Сторонние проекты, не являющиеся ключевыми для ВКонтакте, часто реализуются либо с использованием довольно экзотических решений, либо, наоборот, на самых простых технологиях. Например, сервис мгновенного обмена сообщениями реализован на node.js с использованием протокола XMPP aka Jabber. Конвертирование видео реализовано на самой простой и эффективной библиотеке — ffmpeg, на ней же работает очень популярный видео-плеер VLC.

Основные используемые технологии

  • Debian Linux — основная операционная система
  • nginx — балансировка нагрузки
  • PHP + XCache
  • Apache + mod_php
  • memcached
  • MySQL
  • Собственная СУБД на C, созданная "лучшими умами" России
  • node.js — прослойка для реализации протокола XMPP, живет за HAProxy (haproxy.1wt.eu)
  • xfs — файловая система для хранения изображений и отдачи пользователю
  • ffmpeg — конвертирование видео

Архитектура

Самым заметным отличием от архитектуры многих других крупных интернет-проектов является тот факт, что сервера ВКонтакте многофункциональны. Т.е. нет четкого разделения на серверы баз данных, файловые серверы и т.д. — они одновременно используются в нескольких ролях. При этом перераспределение ролей происходит в полуавтоматическом режиме с участием системных администраторов. С одной стороны, это оптимизирует эффективность использования системных ресурсов, что хорошо, но с другой — повышает вероятность конфликтов на уровне операционной системы в рамках одного сервера, что влечет за собой проблемы стабильности. Впрочем, несмотря на использование серверов в разных ролях, вычислительные мощности проекта обычно используются менее чем на 20%.

Балансировка нагрузки между серверами происходит по многоуровневой схеме, которая включает в себя балансировку на уровне DNS (домен обслуживается с помощью 32 IP-адресов), а также маршрутизацию запросов внутри системы, причем разные сервера используются для разных типов запросов. Например, генерация страниц с новостями (теперь это принято называть микро блогом) работает по хитрой схеме, использующей возможности протокола memcached по параллельной отправке запросов на получение данных по большому количеству ключей. В случае отсутствия данных в кэше, аналогичный запрос отправляется системе хранения данных, а полученные результаты подвергаются сортировке, фильтрации и отбрасыванию лишнего уже на уровне PHP-кода. Похожим образом этот функционал работает и в Facebook (они недавно обменивались опытом), только вместо собственной СУБД в Facebook используют MySQL.

В стенах ВКонтакте было разработано большое количество софта, который более точно удовлетворяет потребностям проекта, чем доступные opensource и коммерческие решения. Помимо упоминавшейся собственной СУБД у них есть система мониторинга с уведомлением по СМС (Павел сам помогал верстать интерфейс), автоматическая система тестирования кода и анализаторы статистики и логов.

В проекте используется достаточно мощное оборудование, ориентировочно были названы следующие характеристики серверов:

  • 8-ядерные процессоры Intel (по два на сервер, видимо);
  • 64 Гб оперативной памяти;
  • 8 жестких дисков;
  • RAID не используется (репликация и резервное копирование осуществляется на программном уровне).

Примечательно, что сервера не брендированные, а собираются специализированной российской компанией. Сейчас оборудование проекта расположено в 4 дата-центрах в Санкт-Петербурге и Москве, причем вся основная база данных располагается в питерском датацентре, а в Москове хостится только аудио и видео. В планах сделать репликацию базы данных с другим датацентром в Ленинградской области, а также использовать Content Delivery Network для повышения скорости скачивания медийного контента в регионах.

Многие проекты, сталкивающиеся с большим количеством фотографий, часто изобретают собственные решения по их хранению и отдаче пользователям. Об этом был первый вопрос, заданный Павлу из зала: "Как вы храните изображения?" — "На дисках!". Так или иначе, представители ВКонтакте заявили, что вся эта куча фотографий всех цветов и размеров просто хранится и отдается с файловой системы (используют xfs) большого количества серверов, без дополнительных изысков. Смущает разве что тот факт, что у других крупных проектов такой подход не сработал — наверное, они не знали волшебного слова :).

Не менее волшебной представляется та самая собственная база данных на C. Этому продукту, пожалуй, было уделено основное внимание аудитории, но при этом почти никаких подробностей о том, что он, собственно говоря, собой представляет, так и не было обнародовано. Известно, что СУБД разработана "лучшими умами" России, победителями олимпиад и конкурсов TopCoder, а также что она используется в самых высоконагруженных сервисах ВКонтакте:

  • Личные сообщения
  • Сообщения на стенах
  • Статусы
  • Поиск
  • Приватность
  • Списки друзей

В отличие от MySQL используется нереляционная модель данных, а большинство операций осуществляется в оперативной памяти. Интерфейс доступа представляет собой расширенный протокол memcached. Специальным образом составленные ключи возвращают результаты сложных запросов (чаще всего специфичных для конкретного сервиса).

Система проектировалась с учетом возможности кластеризации и автоматической репликации данных. Разработчики хотели бы сделать из данной системы универсальную СУБД и опубликовать под GPL, но пока не получается из-за высокой степени интеграции с остальными сервисами.

Интересные факты о ВКонтакте

  • Процесс разработки близок к методологии Agile с недельными итерациями (циклами), в рамках которых проходят все этапы разработки: планирование, анализ требований, проектирование, разработка и тестирование.
  • Ядро операционной системы модифицировано (на предмет работы с памятью), есть своя пакетная база для Debian.
  • Фотографии загружаются на два жестких диска одного сервера одновременно, после чего создается резервная копия на другом сервере.
  • Есть много доработок над memcached, в.т.ч. для более стабильного и длительного размещения объектов в памяти; есть даже версия, обеспечивающая сохранность данных.
  • Фотографии не удаляются для минимизации фрагментации.
  • Решения о развитии проекта принимают Павел Дуров и Андрей Рогозов, ответственность за сервисы — на них и на реализовавшем его разработчике.
  • Павел Дуров откладывал деньги на хостинг с 1 курса :).

Подпроекты

Сервисы аудио и видео являются побочными для социальной сети, на них создатели проекта особо не фокусируются. В основном это связано с тем, что они редко коррелируют с основной целью использования социальной сети — общением, а также создают большое количество проблем. Видеотрафик — основная статья расходов проекта, плюс всем известные проблемы с нелегальным контентом и претензиями правообладателей. 1000—1500 серверов используются для перекодирования видео, на них же оно и хранится. Медиа-файлы банятся по хэшу при удалении по просьбе правообладателей, но это неэффективно и планируется усовершенствовать этот механизм. Очевидно, речь идет о разработке более интеллектуального алгоритма распознавания аудио- и видео-контента по тегам, как это, к примеру, реализовано в YouTube, где загруженный видеоролик, нарушающий лицензию, может быть автоматически удален уже через несколько минут после загрузки.

Как известно, некоторое время назад появилась возможность общаться на ВКонтакте через протокол Jabber (он же XMPP). Протокол совершенно открытый и существует масса opensource реализаций. По ряду причин (среди которых проблемы интеграции с остальными сервисами ВКонтакте) было решено за месяц создать собственный сервер, представляющий собой прослойку между внутренними сервисами ВКонтакте и реализацией XMPP протокола. Реализован он на node.js — выбор обусловлен тем, что JavaScript знают практически все разработчики проекта, к тому же это хороший набор инструментов для реализации задачи. Сложным моментом стала работа с большими контакт-листами. У многих пользователей количество друзей ВКонтакте измеряется сотнями и тысячами, высока активность смены статусов: люди появляются и исчезают из онлайна чаще, чем в других аналогичных ситуациях. К тому же необходимо было реализовать тесную интеграцию с внутренней системой обмена личными сообщениями ВКонтакте. В результате на сервисе 60-80 тысяч человек онлайн, в пике — 150 тысяч. TCP/HTTP-балансировщик нагрузки HAProxy обрабатывает входящие соединения и используется для распределения запросов по серверам, а также развертывания новых версий.

При выборе системы хранения данных думали о нереляционных системах хранения данных (в частности, о MongoDB), но в итоге решили воспользоваться привычной MySQL. Сервис функционирует на 5-ти серверах разной конфигурации, на каждом из которых работает код на node.js (по 4 процесса на сервер), а на трех самых мощных — еще и MySQL. Интересной особенностью является отсутствие связи между группами друзей в XMPP с группами друзей на сайте — сделано по просьбе пользователей, которые не хотели, чтобы их друзья из-за плеча видели, в какой группе они находятся.

Важным подпроектом является также интеграция с внешними ресурсами, которую в условиях высоконагруженного сервиса реализовать далеко не так просто. Все чаще на страницах сторонних проектов можно увидеть виджеты "Мне нравится", позволяющими быстро поделиться интересным постом со своими друзьями, а также небольшие блоки "Мы ВКонтакте" с данными о пользователях внутри привязанной группы. Основные шаги, предпринятые в этом направлении, с небольшими комментариями:

  • Максимальная кроссбраузерность для виджетов и IFrame-приложений на основе библиотек easyXDM и fastXDM, обеспечивающих взаимодействие между сторонним ресурсом и программным интерфейсом ВКонтакте. Таким образом была решена проблема кроссдоменного взаимодействия и вопрос работы во всех браузерах.
  • Кросс-постинг статусов в Twitter, реализованный с помощью очередей запросов.
  • Кнопка "поделиться с друзьями", поддерживающая openGraph-теги и автоматически подбирающая подходящую иллюстрацию (путем сравнивания содержимого тега title и атрибутов alt у изображений.
  • Возможность загрузки видео через сторонние видео-хостинги (YouTube, RuTube, Vimeo, и т.д.).

Не секрет

Завеса тайны насчет технической реализации ВКонтакте была немного развеяна, опубликовано куча интересных аспектов, но все же многие моменты по-прежнему остаются секретом. Возможно, в будущем появится более детальная информация о собственной СУБД ВКонтакте, которая, как оказалось, является ключом к решению всех самых сложных моментов в масштабируемости системы. Сейчас, как бы кто ни относился к ВКонтакте, сервис является очень интересным с точки зрения построения высоконагруженных систем. Все-таки 11 миллиардов запросов в день, высочайший аптайм и почти 100 миллионов пользователей — дорогого стоят.

Warning

Далеко не все крупные проекты публично раскрывают аспекты построения архитектуры. Даже примерная информация о том, что у них происходит и как они работают, часто держится в секрете. Источником информации чаще всего оказываются либо выступления представителей проектов на конференциях, либо различные интервью/публикации сотрудников. Информация для этого материала была собрана автором из этих же источников и не является официально подтвержденной со стороны ВКонтакте.


Источник: xakep.ru

среда, 16 марта 2011 г.

Калькулятор виртуализации

HP в твиттере сообщила о новом инструменте - калькуляторе для расчета стоимости виртуализации вашего предприятия। Доступен по ссылке: http://bit.ly/eYLlqj

Смотрим, оцениваем.

вторник, 15 марта 2011 г.

К 2018 году ЦОДы уменьшатся вдвое

Отраслевые аналитики прогнозируют, что в ближайшие несколько лет ЦОДы опустеют наполовину за счет переноса части данных в «облака», уплотнения серверов и развития энергоэффективных технологий.

Четыре фактора, влияющие сегодня на рынок ЦОД, могут привести к резкому сокращению требований к пространству дата-центров, то есть они станут более компактными, говорится в статье Gartner.

Четыре тенденции это: улучшение конструкций ЦОД, повышение их энергоэффективности (или внедрение «зеленых» ИТ), среда высокой плотности размещения и растущий потенциал «облачных» вычислений. Дейв Капуччио (David Cappuccio), исполнительный вице-президент и руководитель исследований инфраструктур компании Gartner сказал по этому поводу, что в мире ИТ все имеет «каскадный эффект» и традиционные методы проектирования центров обработки данных больше не работают без учета внешнего воздействия, которое будет оказывать влияние на расходы ЦОД, его размеры и продолжительность функционирования.

Однако, эти же силы могут фактически сработать в пользу владельцев, предоставляя средства внедрения инновационных проектов, сократив капитальные и эксплуатационные затраты, увеличив сроки использования и поддержку бизнеса.

Gartner рекомендует сосредоточить внимание на четырех факторах тем руководителям, которые пытаются спланировать развитие устройства ЦОД для уверенной работы в будущем:

Интеллектуальное планирование

У сегодняшних ЦОД много различных требований к электромеханическим системам, которые зависят от разнородности рабочих нагрузок, функционала и возраста оборудования. В новых конструкциях ЦОД это принято во внимание: применяются различные зоны плотности оборудования для различных типов нагрузки.

Одни зоны могут использовать направленные потоки холодного воздуха или даже стоечное охлаждение для обеспечения очень высокой нагрузки с минимальным ущербом или влиянием на оставшуюся часть площади.

Другие зоны будет поддерживать стабильные приложения, которые потребляют соответственное количество энергии и создают контролируемую тепловую нагрузку, в то время как зоны низкой плотности предназначены для работы низкоэнергетического оборудования (телекоммуникационного и систем хранения).

«Зеленое» влияние

Большинство руководителей центров обработки данных недостаточно внимания уделяют «озеленению ИТ», пока на них не оказало давление руководство или общественность. Однако наблюдается постоянно растущее внимание к потреблению электроэнергии в ЦОД, а новые руководители обращают пристальное внимание на энергоэффективность, как в создании ЦОД, так и в процессе его работы. Развитие эффективности использования энергии (PUE) в соответствии с «Зеленой энергосистемой» (Green Grid) продолжает делать успехи на рынке, и много новых центров обработки данных в настоящее время разрабатываются в соответствии с конкретными требованиями PUE для получения преимуществ энергоэффективности и влияния на общественные взаимоотношения.

Уплотнение

В большинстве ЦОД пространство как перспектива для развития используется в неполной мере. Во многих случаях фактическое пространство для вычислений стойками и серверами используется очень неэффективно. Средняя плотность стойки в мире приближается лишь к 60%.

Новейшие конструкции, разработанные для достижения оптимальной плотности стойки, нередко приближаются к 85-90%, резко увеличивая соотношение вычисления/квадратный фут. Появление вычислительной среды частных «облаков» и пула ресурсов предоставит решения для повышения вертикальной масштабируемости в ЦОД, в то же время повышая соотношение производительность/киловатт.

«Облачные» вычисления

Руководители ЦОД начинают рассматривать возможность передачи поставщикам «облачных» решений несущественных нагрузок, высвобождая столь необходимые площади, энергообеспечение и охлаждение, которые затем могут быть направлены на более важные производственные приложения, заодно продляя срок службы ЦОД.

Поскольку популярность этой практики растет, структура корпоративных ЦОД сильно изменится. Только основные бизнес-функции или критически важные - останутся в основном ЦОД. Все остальные сервисы в конечном итоге будут переданы внешним поставщикам, создавая эффект долгосрочного снижения физических требований к ЦОД.

Gartner предсказывает, что к 2018 году требования к пространству ЦОД составят лишь 40% от нынешних. Пристальное внимание будет сосредоточено на основных бизнес-сервисах, а поскольку эти сервисы будут по-прежнему требовать больше ИТ-ресурсов, сокращение размеров серверов и систем хранения данных (телекоммуникационного оборудования) более чем компенсирует эти требования.

Источник: Gartner

понедельник, 14 марта 2011 г.

ИТ, которые изменят мир

Эрик Лундквист, вице-президент Ziff Davis Enterprise, предсказывает, что осень текущего года принесет принятие и распространение новых технологий, которые изменят способы обработки корпоративных данных.
Некоторые из них придут из потребительского сектора, некоторые — прямо из лабораторий, другие станут результатом объединения существующих. Вот первая пятерка.


Пойди туда, не знаю куда. Принеси то, не знаю что
Именно этой древней русской присказкой выражаются сегодня основные направления развития информационных технологий. Судите сами. Определенные ответы на неопределенные вопросы. Компания, которой физически нет. Везде облачно. И еще что-то там такое есть… наверное…


1. Новое поколение средств и методов поиска. Google превратилась в огромную компанию, извлекающую выгоду из контекстной рекламы. Теперь контекстная идея сделает десять шагов вперед. Комбинируя поиск, социальные сети и в зависимости от местонахождения, пользователи смогут добавить эмоциональную окраску своему запросу, а рекламодатели — получить доходы скорее от потребительского присутствия, чем от потребительской осведомленности.*
Это следующее поколение поиска предоставляет огромные возможности, и ни Google, ни Microsoft, ни Yahoo теперь не в состоянии захватить этот рынок в одиночку.
* …разработчиками современных поисковых систем, стали использоваться абсолютно новые принципы поиска, заложенные в поисковые машины, использующие логические и морфологические инструменты построения предложений и фраз. Работающие по таким принципам поисковые системы, имеют возможность отсеивать ненужную информацию, выбирать из найденной информации действительно полезную и выдавать в качестве результатов поиска, преимущественно ту информацию, в которой испытывает потребность пользователь интернета, осуществляющий поиск. Как правило, принципы работы поисковых систем, являются ноу-хау их разработчиков, занимающихся постоянным совершенствованием своих поисковых машин.
Другими словами, раздраженный обыватель сможет получить обстоятельный ответ и советы, например, по запросу: «У меня опять не работает эта чертова кофемолка»


2. Виртуальная компания. Этот модный сейчас термин вообще-то означает нечто большее, чем селекторное совещание с голосами как у водителей троллейбусов, объявляющих остановки. А что тогда? Мобильное предприятие? Возможно, но пока ПО для построения виртуальных компаний существенно недостает возможностей и средств интеграции.
Нужный результат известен — для повышения эффективности работы предприятия требуются официальные и неофициальные встречи, результаты продаж в реальном времени и множество других элементов, которые в совокупности и определяют предметность и результативность общения, в отличие от примитивной «накачки» подчиненных по селектору.
С другой стороны, ожидаемый результат и способы его достижения известны, но не реализованы. Следовательно, виртуальное предприятие остается пока лишь стройной умозрительной концепцией. Тем не менее, для предпринимателей очевидны ожидаемые выгоды и они уже сегодня готовы инвестировать в такие проекты.

3. Виртуализация всего остального. Эта концепция подразумевает намного большее. чем только сокращение числа серверов в информационном центре. Она затрагивает системы хранения данных, сети, сотрудников с десктопами, ноутбуками и смартфонами.
Управление виртуальной средой совершенствуется, но главный ЦУП (центр управления), который обеспечивает доступ, безопасность и предоставляет определенные возможности для всей компании, все еще разрабатываются. Первые ЦУПы сразу от нескольких компаний появятся этой осенью.


4. Cloud creator — инженер облака. «Облачный компьютинг» сегодня абсолютный лидер среди умных терминов рынка высоких технологий. Но CIO все еще отказываются передать операции своих компаний неизвестно в какие глубины интернета.
Правильный путь выглядит следующим образом: взять существующие бизнес-приложения и добавить к ним облачные сервисы — если они действительно безопасны и всегда доступны. Так что ожидается много обещаний и некоторые фактические предложения подобных сервисов в следующие два квартала.


5. X-factor. Лучшее в технологиях то, что их развитие никогда не останавливается. Вспомните, сколько шума было вокруг «серьезных» многообещающих технологий, сегодня доживающих свой век или так и оставшихся в зачаточном состоянии. А такие игрушки, как поисковые системы, VoIP, Facebook становятся доминирующими на рынке. В общем, новинка приживается только в том случае, если ученые мужи не только восхищаются собственной разработкой, но и думают о том, как ее воспримут бизнес и миллионы людей.
Кроме указанных пяти направлений, возлагаются надежды на управление энергоэффективностью, дистанционное обучение, измеримые показатели деятельности предприятий — как для промышленности, так и в частном секторе. Здесь поле деятельности поистине необъятно.
Вот так, «конкретно и неопределенно», изъясняется Лундквист. По его просьбе читатели попробовали добавить свои мнения. Как видно из приведенных ниже комментариев к статье, никто ничего так и не понял.


Телефон в кухне на стене
IT-энтузиасты (оказывается, они до сих пор есть!) по своему обычаю категоричны: «Ruby on Rails — следующая большая технология, которая изменит способы разработки веб-приложений»; «В ближайшее время главная роль будет отведена разработке 3D Web-технологии»; «Беспроводные сети 3G и 4G рулят» и т.д.
Юноша, искрящийся надеждами, восклицает: «Лучше всего — учебный веб-сайт онлайн-сертификации certkingdom.com». Ну, я не против. Сайт, действительно, полезный. Но при чем здесь это?
А это, видимо, отозвались папаши в подтяжках — образцовые избиратели и читатели «Нью-Йорк Таймс». Я собрал вместе несколько таких оптимистически-лояльных сентеций и получился вполне приличный кусок речи для любого политика:


«Мы должны быть довольными сегодня, но вместе с тем смотреть в будущее. Нам нужны общемировые компьютеры, удовлетворяющие требованиям изменения образования, науки, технологии, направленные на здоровый рост и развитие всего общества. Платите людям, чтобы они расходовали меньше энергии. Вознаграждайте людей, которые расходуют меньше энергии. Давайте беспроцентные целевые ссуды, для инвестирования в возобновляемые источники энергии. Нам также нужны новые технологии, которые помогут в анализе и обнародовании всех случаев и факторов IT-рисков. И, в конечном итоге, относительно небольшое количество технологий может приструнить коррумпированных, нечестных политических деятелей и бюрократов».


Старые ворчуны и здесь верны себе: «Нужно бы сначала решить, помещать ли все яйца в одну корзину. А когда облачный компьютинг и беспроводные сети станут надежными и безопасными, это приведет к огромному разрыву между государствами с различным качеством жизни. И вообще, Fraud+Scam уже стали индустриальными технологиями. Вот вам и ваши IT».


Источник: ko.com.ua

пятница, 11 марта 2011 г.

Intel и Canon продвигают новую замену USB и SATA

Известный производитель фотоаппаратов Canon выступил в поддержку технологии Thunderbolt - нового стандарта передачи данных, разработанного Intel в качестве замены USB, сообщила компания Intel.

"Thunderbolt - ценная технология, которая ускорит работу с большими объемами данных", - считает Хироо Едакубо (Hiroo Edakubo), представитель компании Canon, отвечающий за продукты для обработки видео, слова которого приводятся в пресс-релизе. Едакубо не уточняет, какие именно продукты Canon будут поддерживать Thunderbolt.

Технология Thunderbolt была представлена в конце февраля 2011 года. Intel позиционирует ее как более быструю замену интерфейсов USB 3.0 и SATA. Устройства, поддерживающие Thunderbolt (внешние жесткие диски, мобильные устройства, камеры и пр.) смогут обмениваться данными с компьютером на скорости 10 гигабит в секунду (около 1250 мегабайт в секунду). Стандарт USB 3.0, который только начинают внедрять в массовые устройства, обеспечивает максимальную скорость около 3,2 гигабит в секунду, а повсеместно распространенный USB 2.0 еще медленнее - его скорость не превышает 480 мегабайт в секунду. Производительность Thunderbolt сопоставима с возможностями интерфейсов Fibre Channel, HDMI и в три раза превышает скорость передачи данных по стандарту eSATA/SATA 300.

Передача данных на скорости 10 гигабит в секунду пока возможна лишь теоретически, и дело не в Thunderbolt, а в устройствах, соединяемых для передачи данных по этому стандарту - жестких дисках, твердотельных накопителях и флэш-памяти. Если пропускная способность Thunderbolt составляет 1250 мегабайт в секунду, то средняя скорость чтения твердотельных накопителей - 300-400 мегабайт в секунду. При организации RAID-массивов из чередующихся твердотельных накопителей скорость чтения примерно удвоится, но и этого будет недостаточно, чтобы в полной мере использовать возможности Thunderbolt.

По сравнению с USB 3.0 у Thunderbolt имеется серьезный недостаток, а именно - ограниченная совместимость. USB 3.0 обладает обратной совместимостью, т.е. устройства USB 3.0 можно подключить к более старому порту USB 2.0, хотя и с потерей скорости. Thunderbolt же не имеет обратной совместимости с существующими интерфейсами для внешних устройств. Это значит, что пользователь, купивший внешний накопитель с поддержкой новой технологии, не сможет использовать его на компьютере, который ее не поддерживает.

Стандарт Thunderbolt уже поддерживается в последнем поколении ноутбуков серии Apple MacBook Pro. Кроме того, компания LaCie объявила о планах по выпуску первого внешнего жесткого диска, поддерживающего Thunderbolt. Продажи этой модели начнутся летом, но точные характеристики устройства и его цена пока не известны.

Источник: rian.ru

Еще раз о серверах на процессорах ARM - Dell тоже сомневается в их перспективности

Dell призналась, что её попытки создать серверы на базе процессоров ARM сталкиваются с определенными трудностями, прежде всего, в плане программного обеспечения. Как заявил Форрест Норрод (Forest Norrod), вице-президент Dell и руководитель подразделения серверных систем в Dell, в этом плане ARM пока не удалось создать развитую экосистему, поэтому разработчикам приходится тратить очень много времени и денег, чтобы адаптировать имеющееся ПО на платформе x86, чтобы такие программы работали на системах с процессорами ARM.

Судя по всему, в словах высокопоставленного представителя Dell немалая доля истины. Тем не менее, было бы ошибкой считать, что Dell отказывается от дальнейших попыток создать серверы на платформе ARM. По идее, такие системы должны появиться в продаже в течение ближайших 12-18 месяцев.

Напомним, что недавно о сомнительности перспектив создания популярных серверов на базе Atom или ARM-чипов высказывались Intel и Google. Такое противодействие рынка говорит о том, что особой популярности подобные решения в ближайшем будущем не обретут.

По материалам: fudzilla.com

среда, 9 марта 2011 г.

2800 долларов и рубидиевые часы - и у вас точнейший сервер времени

На весьма консервативном рынке "серверов времени" появилась новое устройство - Symmetricom SyncServer S100.

Компания Symmetricom объявила о расширении своего модельного ряда серверов времени новым сервером SyncServer S100. Новинка использует технологию Symmetricom PackeTime и представляет собой сервер NTP для предоставления услуг синхронизации времени для компаний малого и среднего бизнеса.

Конфигурация нового сервера синхронизации времени S100 осуществляется через интуитивно понятный веб-интерфейс. SyncServer S100 обеспечивает надежную технологию синхронизации сети, объединяя высокую точность (до микросекунд) с пакетной передачей данных через Ethernet/IP сети. Он также поддерживает широкий спектр сетевых протоколов для легкого управления и простоты интеграции в существующие сети.

Новинка может обслуживать сотни тысяч клиентов в сети. Пропускная способность NTP превышает 3200 запросов в секунду при сохранении уровня точности в порядке микросекунд. Для клиентов, требующих большей точности, возможна синхронизация времени по сети GPS (точность в таком случае составит единицы наносекунд), а также установка рубидиевых часов, дающих еще большую точность.

Стоимость SyncServer S100 составит около 2800 долларов. Купить сервер можно в NStor.

Напомним, что такие вычислительные комплексы являются специфичными устройствами, работающими с протоколом Network Time Protocol. Это сетевой протокол для синхронизации внутренних часов компьютера с использованием сетей с переменной латентностью, основанных на коммутации пакетов. Хотя традиционно NTP использует для своей работы протокол UDP, он также способен работать и поверх TCP и так встраивается в стандартную IT-инфраструктуру предприятий, в которых критично точное время. Такой сервер синхронизируется с эталонными часами, рассчитывая и исправляя помехи и погрешности, возникающие из-за задержек в среде передачи.

Источник: Gps-club.ru, Symmetricom

Серверы на базе ARM и Atom: Intel и Google против

Многие эксперты считают, что энергоэффективные процессоры Intel Atom и ARM в ближайшем будущем могут стать основой вычислительных центров. Но специалисты компаний Intel и Google сомневаются в успехе данной задумки, о которой постоянно говорится в пресс-релизах и интервью специалистов. Процессоры ARM потребляют ничтожную часть той энергии, которая нужна для работы серверных монстров - AMD Opteron и Intel Xeon. Но даже новейшие чипы ARM - Cortex A9 и A15 Eagle - поддерживают только 32 битные инструкции и не совместимым с программным обеспечением для x86 серверов. Atom потребляет больше энергии, чем ARM, но являются x86 чипами с более высокой производительностью. Объединенные вместе множество чипов ARM и Atom в многопоточных задачах способны заменить процессоры Xeon и Opteron в вычислительных центрах. Но Кирк Скауген (Kirk Skaugen), генеральный менеджер отдела дата центров компании Intel, и Урс Хольцле (Urs Holzle), старший операционный вице-президент компании Google, считают, что такие решения ставят множество ограничений.

Нынешние ARM процессоры не поддерживаю 64 битные инструкции, позволяющие работать с большим объемом оперативной памяти. ARM не совместимы с x86, поэтому придется писать все серверное программное обеспечение заново. В однопоточных операциях ARM практически бесполезны в серверных целях. Ни ARM, ни Atom не поддерживают аппаратную виртуализацию. Кирк Скауген сказал, что в случае перехода серверов на процессоры ARM придется потратить сотни миллионов долларов на портирование 14 тысяч специализированных серверных приложений. В пример он ставит процесс перехода серверов на процессоры Itanium, который занял десять лет. Урс Хольцле заявил, что, несмотря на возможные преимущества от многопоточности, существует ограничение числа вычислительных потоков. Рано или поздно наращивать число процессорных ядер станет невозможным из-за программной сложности подобных систем. Просуммировав все вышесказанное можно сделать вывод, что вычислительные центры на базе огромного числа энергоэффективных процессоров хорошо выглядят лишь в теории, но на практике пока не могут найти широкого применения и вряд ли сейчас будет выгодным и мудрым вложением - купить сервер на тысяче ARM или Atom-процессоров, например, такой.

Источник: xbitlabs.com

суббота, 5 марта 2011 г.

Исследование CIO.com: Облачные вычисления взрослеют

CIO.com и IDG Research опубликовали результаты исследования 2011 CIO Cloud Survey, посвященному перспективам рынка облачных вычислений.

В рамках исследования были опрошены 451 IT-профессионал, в том числе 161 из них находятся на руководящих должностях. Кроме текущей ситуации, в рамках анализа изучались ожидания респондентов на ближайшие 18 месяцев.

Наиболее интересные результаты:
  • SaaS: Участники опроса говорят, что 12% данных в их организации в настоящее время доставлены благодаря SaaS, и по оценкам, эта доля увеличится более чем до 16% за полтора года.
  • Публичные облака: Респонденты отметили, что 8% данных компаний находятся в public clouds и эта доля увеличится как минимум на 50% в течении 18 месяцев.
  • Частные облака: 21% данных своих компаний ИТ - специалисты хранят в private clouds с прогнозом роста до 27%.
  • Гибридные облака: сегодня у участников опроса в hybrid clouds 9% информации, ожидаемое увеличение - 15%.
Результаты аналитики также включают следующие результаты:
  • 40% опрошенных заявили что облачные вычисления критичны либо имеют высокий приоритет в компании.
  • 18% от общего ИТ - бюджета выделяется на услуг clouds (в том числе ПО, дополнительные услуги и обучение сотрудников).
  • Software-as-a-Service (ПО как услуга) рассматривается в качестве наиболее важной модели доставки с колоссальной долей - 62% в приоритетных инвестиционных проектах.
  • Безопасность сегодня является самым большим препятствием для распространения clouds: 71% компаний считают недостаточную безопасность своей главной проблемой.
По данным опроса, основные три причины инвестирования в облака следующие:
1. Обеспечение непрерывности бизнеса.
2. Большая гибкость для реакции на изменение рыночных условий.
3. Улучшение поддержки клиентов и сервиса.

В целом можно еще раз повторить уверения всех, кто что-то говорит об облачных вычислениях - рынок растет, инвестиции увеличиваются, вычислительное счастье не за горами.

Источник: HP.com

четверг, 3 марта 2011 г.

Intel назвала три лучших IT-разработки прошлого года в СНГ

Корпорация Intel в России и других странах СНГ отметила 4 наиболее интересных отечественных разработки моделей вычислительных систем 2010 г. Победителями стали ГК «ИВС» с комплектом «Школа будущего», «РСК СКИФ» с блейд-сервером «СКИФ-Аврора» на базе процессоров Intel Xeon с водяным охлаждением для суперкомпьютерных систем, компания «Навигатор» с планшетным компьютером на основе Intel Atom, а так же iRu с решением «все-в-одном» (All-in-One) AIO 105/101 с операционной системой MeeGo.

В 2010 г. специалисты компьютерных компаний СНГ вывели на рынки своих стран много вычислительных устройств оригинального дизайна во всех сегментах рынка – серверов и суперкластеров, десктопов, компьютеров «все-в-одном» (All-in-One), ноутбуков и нетбуков, настольных ПК начального уровня (неттопов), планшетов, устройств хранения информации и т.д. Эксперты рассмотрели 38 моделей, представляющих особый интерес в отношении влияния на рынок ПК.

В феврале 2011 г. руководство Intel в России и других стран СНГ решило отметить разработки четырех компаний:
  • ГК ИВС (Россия) Комплект оборудования «Школа будущего» для интерактивного обучения, состоящий из сервера на основе архитектуры Intel и разных клиентских устройств (нетбуков, неттопов, компьютеров «все-в-одном» и планшетов на базе процессоров Intel Atom) с оригинальным программным обеспечением.
  • «РСК СКИФ» (Россия) Блейд-сервер «СКИФ-Аврора» на основе серверных процессоров Intel Xeon с высокой плотностью монтажа и водяным охлаждением для суперкомпьютерных систем.
  • «Навигатор» (Украина) Планшет Impression ImPAD 0410 на базе процессора Intel Atom.
  • В номинации «лучшее решение с ОС MeeGo» победила компания iRu (Россия) с компьютером «всё-в-одном» (All-in-One) iRu AIO 105/101.

Intel видит в развитии MeeGo широкие перспективы. Это операционная система с открытыми исходными кодами, поэтому совершенствовать ее и создавать для нее приложение может каждый. Уже сегодня этим занято множество разработчиков. Intel приветствует и поддерживает интерес отечественных производителей к MeeGo и с радостью отмечает, что эта операционная система становится все более популярной.

Победители получат наградные грамоты корпорации, а так же получат возможность совместно провести активности по продвижению данных продуктов. Высокие представители компаний, чьи разработки были отмечены призами, выступили со следующими заявлениями в адрес Intel и ее партнеров.

Сергей Кирюшкин, исполнительный директор ГК ИВС:

Сотрудничество ГК ИВС и Intel длится свыше 15 лет. Для нас Intel всегда был и остается важнейшим стратегическим партнером. Вместе мы активно работаем с образовательными учреждениями Пермского края. Нас радует энтузиазм учителей, которые с интересом осваивают новые практические подходы к обучению и передают знания детям.

Современные инициативы государства в сфере образования требуют анализа существующей информационно-образовательной среды и развития технологических средств, методик, обучения кадров, технической поддержки. В этом плане партнерство с Intel показало высокую эффективность. Нами была разработана модель ИТ-инфраструктуры школы; на базе нескольких учебных заведений началось опытное внедрение ее составных частей.

Мы рады, что передовые школы Перми стали пилотными площадками для аппробации современных достижений. В гимназии №2 реализуются технологии на базе комплексов интерактивного расписания и трибуны, обмен информацией с телекоммуникационной образовательной сетью www.web2edu.ru, являющейся частью нашего интеграционного комплекса. Учащиеся школы № 135 осваивают азы робототехники с применением школьных нетбуков ClassMatePC.

Мы уверены: будущее за обучением, где центром является ученик. Нужно развивать его сильные стороны, применять индивидуальный подход. А технологии Intel помогают дать ученикам качественное современное образование.

Алексей Шмелев, исполнительный директор компании «РСК СКИФ»:

«СКИФ-Аврора» в Южно-Уральском государственном университете (ЮУрГУ) – это не только высокопроизводительный суперкомпьютер нового поколения с рекордными для России и стран СНГ показателями энергосбережения (исключительно эффективный показатель использования электроэнергии Power Usage Effectiveness для ЦОДа на уровне 1,2 при потребляемой мощности комплекса всего 120 кВт) и низкой стоимостью владения, достигнутых за счет применения передового жидкостного охлаждения и современных 6-ядерных процессоров для серверов Intel Xeon серии 5600, но и наглядный пример успешности нашего сотрудничества с Intel как поставщика лучших в индустрии архитектур и технологий для высокопроизводительных вычислений. В наших планах на этот год – повысить производительность суперкомпьютерного комплекса в ЮУрГУ более чем в 4 раза (до 104TFLOPS), а также разработка нового дизайна архитектуры суперкомпьютерного решения на базе процессоров Intel с кодовым наименованием Sandy Bridge.

Георгий Чернявский, председатель совета директоров компании «Навигатор»

На сегодняшний день на украинском рынке ImPAD – единственное планшетное решение с возможностями ПК. В отличии от немногочисленных предложений других компаний, которые можно рассматривать, в основном, как мобильные устройства для чтения, работы с веб и просмотра видео, ImPAD имеет гораздо большую производительность и функциональность. Благодаря достаточно мощному для такого вида устройств процессору Intel Atom N450, ОС Windows и специальным программам, планшет обладает рядом преимуществ, в частности, используемых в бизнес процессах. С ImPAD возможна не только стандартная работа с почтовыми сообщениями и чтение новостей, но и полноценное редактирование документов, использование широкого спектра всевозможных приложений, создание PDF файлов и презентаций и т.д. Кроме того, ImPAD поддерживает большинство распространенных аудио- и видеоформатов, оснащен разъемами для подключения внешних устройств, обладает жестким диском большой емкости (320 Гбайт), 3G-модемом, модулем Wi-Fi, крупным экраном (10,1”/11,6”), воспроизводит Flash-контент. Для удобства работы с Windows на ImPAD установлена специальная интерфейсная надстройка Blue Dolphin, которая существенно облегчает пользователям работу с дисплеем «мультитач». Мы считаем, что ImPAD – более легкая и современная альтернатива ноутбукам и нетбукам .

Сергей Суворов, генеральный директор компании iRu.

MeeGo является прекрасным выбором операционной системы. Ее отличительные черты – быстрота и простота использования, удобный интерфейс и стремительно растущая экосистема.

Источник: Lenta.ru, Intel

Еще немного о пользе виртуализации

Неконтролируемый рост центра обработки данных как следствие негибких и устаревающих инфраструктур продолжает неблагоприятно влиять на распределение ресурсов на предприятиях. По данным исследований, многие организации тратят больше 70% своего ИТ-бюджета на эксплуатацию и обслуживание. Следовательно, лишь 30% идет на бизнес-инновации. Виртуализация изменяет подход предприятий к сетевой инфраструктуре, так как она рассматривает все серверы и службы как единый пул ресурсов. Таким образом, повышается эффективность управления, появляется возможность совместного использования системы хранения данных, затратных вычислительных циклов и приложений.

Убедительно звучит? Это цитат из приглашения HP на семинар по системам виртуализации и проектирования облачных сред с помощью технологий HP Procurve Networking. Действительно, заставляет задуматься и сказано простым языком.

среда, 2 марта 2011 г.

iPhone позволяет удаленно управлять серверами

Компания Raritan, известный производитель систем удаленного KVM-управления, объявляет о расширении возможностей программного пакета Raritan Power IQ. Raritan Power IQ – программное обеспечение, предназначенное для совместного использования с модулями удаленного управления электропитанием Raritan Dominion PX (поддерживает также устройства APC, ServerTech, Geist). Программный пакет позволяет контролировать потребление электроэнергии серверным парком, выявлять неиспользуемые мощности, сокращать время простоя оборудования.

Новое приложение программного пакета - это первое доступное в Apple iTunes Store приложение, разработанное специально для iPhone, iPad и iPod Touch. Новое ПО позволяет системным администраторам просматривать параметры энергопотребления «на ходу», в режиме реального времени, а также осуществлять безопасное удаленное управление электропитанием любого сервера или устройства распределения питания в стойке. Приложение можно бесплатно загрузить в интернет-магазине Apple iTunes (http://www.apple.com/ru/itunes/).

Приложение для iPhone также выпускается в демоверсии, которая предназначена для тестирования его работы на серверах IT-лаборатории Raritan. Все желающие могут использовать Power IQ iPhone для включения и выключения серверов лаборатории, а также для мониторинга параметров их энергопотребления. Для пользователей Dominion PX, не располагающих устройствами Apple, также есть бесплатная версия программы Power IQ, рассчитанная на контроль параметров энергопотребления пяти устройств с помощью любого интернет браузера: Explorer, Opera, Mozilla, Chrome, Safari. Скачать бесплатную версию программы можно на сайте http://www.raritan.com/energy-savings.

ПО Raritan Power IQ iPhone совместимо с любыми устройствами Apple, работающими под управлением операционной системы iOS версии 3.1 и последующих. Приложение эффективно использует свободное пространство экрана и задействует максимум функций iPad: вращающиеся экраны и масштабирование изображений при помощи пальцев. Raritan Power IQ iPhone работает как при вертикальной, так и при горизонтальной ориентации экрана.

Источник: CNews

вторник, 1 марта 2011 г.

Облачные вычисления сокращают рынок труда в сфере IT

В нынешней нестабильной экономической ситуации корпоративные ИТ-отделы все больше стараются увеличивать свои расходы на оборудование и облачные вычисления, но не на приобретение новых сотрудников. Все эти последние тенденции широко отражены в различных правительственных статистических данных, опросах и отчетах по заработной плате, пишет Computerworld.

По прогнозам IDC, доход от облачных услуг в США вырастет почти на 24% - с 14,2 млрд долларов в 2010 году до 17,6 млрд в 2011-м. Опросы ИТ-организаций в компаниях показывают, насколько велик интерес облаку, который многие эксперты сравнивают с "e-коммерческой лихорадкой" в конце 90-х.

Сейчас компании заняты тем, что увеличивают расходы на техническое, аппаратно-программное обеспечение, а также пытаются наверстать упущенное во время рецессии. В Dell на этой неделе сообщили об увеличении доходов на 5%, что составляет почти 15,7 млрд долларов. В IBM тоже отметили, что за последний месяц их доходы значительно выросли.

Но способствует ли увеличение этих расходов приему на работу ИТ-специалистов? К сожалению, пока нет. Согласно статистическим данным правительства США, уровень безработицы среди ИТ-профессионалов гораздо выше, чем среди специалистов в других отраслях. Например, в прошлом году безработица среди программистов была на уровне 5,7%, что выше показателей 2007 года на 3,5%.

Руководитель консалтинговой компании Hackett Group Ричард Попл считает, что подходы, которые сейчас используются для подъема экономики, совсем другие, нежели в прошлом. По его прогнозам, занятость в корпоративных ИТ-отделах в этом году снизится незначительно, на 0,4%, (в 2010 году этот показатель была на уровне 1,1%, а в 2009-м - 7,3%). В исследовании компании принимало участие 185 американских и европейских организаций с доходами выше 1 млрд долларов.

В настоящее время компании занимаются консолидацией своих ИТ-ресурсов, что также способствует расширению аппаратно-программного парка решений. Это делается для того, уверен Попл, чтобы ИТ-отделы стали более гибкими, и могли бы использовать свои ресурсы по всему миру, в Сети или в оффшоре. Согласно опросу Hackett Group, облачные вычисления вышли в этом году на 4-ое место среди приоритетов компаний, на что указали 59% респондентов. В прошлом году облако находилось на 10 месте из 11, и только 27% опрошенных посчитали его главным приоритетом своей деятельности. Попл сравнивает нынешний стремительный рост использования "clouds" с интересом в интернет-услугах со стороны компаний в 1998-99 гг..

Джон Лонгвелл, вице-президент Computer Economics, отметил, что ситуация с приемом на работу в ИТ в этом году останется довольно стабильной, за исключением крупных компаний, где количество персонала может увеличиться на 2%. К таким компаниям относятся те, которые имеют операционный ИТ-бюджет более 20 млн долларов. "Хотя только некоторые компании собираются расширить свой штат сотрудников, лишь совсем немногие планируют проводить дальнейшие сокращения, - заметил Лонгвелл. - Поэтому мы не думаем, что ситуация с ИТ-наймом в ближайшее время кардинально изменится, но перспектив у ИТ-специалистов станет гораздо больше. Появляются новые вакансии, и в первую очередь это сказывается на спросе на контрактников, увеличении часов работы и привлечении провайдеров услуг".

По словам Марина Елоевич, количество организаций, которые обращаются сейчас к SaaS (ПО как услуге), стремительно растет. Около 36% компаний, опрошенных Computer Economics, применяют у себя SaaS, а с 2009 года этот показатель вырос на целых 12%. Применение SaaS является одной из форм аутсорсинга и позволяет компаниям в какой-то степени сократить их капитальные затраты и персонал. Но вменять SaaS всю вину за ситуацию на рынке труда было бы неправильно, ведь это лишь часть общей картины, полагает Лонгвелл.

Интерес к аутсорсингу тоже растет, на что указывают и данные исследований Hackett, в частности, ситуация с оффшорными фирмами Индии. В индийском гиганте Infosys, например, который получает около 65% своих доходов от североамериканских заказчиков, недавно сообщили, что годовой рост доходов по данным последнего квартала составил почти 29%. В компании трудятся 127 779 человека, включая новых 5311 сотрудников, принятых на работу в последние месяцы.

Но опрос 100 CFO американских технических компаний, проведенный BDO USA, показал, что только 35% из них воспользовались аутсорсингом услуг или производством в компаниях, которые расположены за пределами США. А в 2009 году 62% компаний отдавали работу на выполнение третьей стороне.

"Ослабление рынка труда в США предоставляет компаниям больше возможностей выполнять такую работу из дома, - рассказывает партнер компании BDO Дон Джоунс. - Учитывая языковые и культурные барьеры, существующие в популярных местах аутсорсинга в Азии, включая Китай и Индию, некоторые компании предпочитают переносить сейчас оттуда эти услуги обратно, поскольку им проще выполнять их у себя на "задворках". Джоунс считает, что перенос работы обратно в США поможет сократить количество жалоб клиентов на обслуживание и улучшить качество обслуживания в целом. По его мнению, большая текучка кадров и проблемы инфраструктуры в Индии и Китае также затрудняют процесс аутсорсинга.

Источник: Computerworld, IDC, Astera