Новости технологий, видео обзоры, цены

Самые свежие новости технологий будущего. Hadoop проект, был назван в честь игрушечного слона, звучит как персонаж Доктора Сьюза (Dr. Seuss) и это самая крутая штука в технологии больших данных. И так, Hadoop в действии...

Как Hadoop быстро справляется с большими данными.

Hadoop что это? Это программный каркас (фреймворк с библиотеками и утилитами), который резво справляется со сложными задачами - управление действительно большими данными. Фактически, Hadoop является некоей смазкой в облачных механизмах, сохраняя данные в потоке для таких онлайн-гигантов, как Yahoo, Facebook, Google и Twitter.

Но все преимущества данного программного обеспечения могут оценить не только они. Корпорации и предприятия, используя подробное руководство, также могут адаптировать фреймворк под себя: "Мы помогаем тем организациям, у которых есть проблемы с управлением большими объемами данных, которыми они располагают", - рассказывает Ричард Тридвей (Richard Treadway), директор по маркетинговым решениям для больших данных проекта NetApp.

"Мы берем технологии, которые используют большие интернет-компании и адаптируем их к окружающей среде своей компании".

Вдохновение для Hadoop пришло от разработки Google MapReduce.

MapReduce - модель программирования для распределенного вычисления - это способ дать возможность большим данным быть собираться на множестве серверов и предоставлять к ним доступ. Дуг Каттинг (Doug Cutting), позднее ушедший в компанию Yahoo, видел этот потенциал и создал Hadoop, который работает на готовом аппаратном обеспечении и управляет данными, которые слишком велики для обычных баз данных.

Каттинг, давший имя программному обеспечению Hadoop в честь игрушечного слоненка своего сына, покинул Yahoo в 2009 году и присоединился к компании Cloudera, которая специализируется именно на Hadoop.

NetApp работает и с Cloudera, и с другой Hadoop компанией - Hortonworks (помните намек на слона Доктора Сьюза). Компании сотрудничают, чтобы развивать системы корпорации, которые несут все преимущества Hadoop корпоративному миру, но без необходимости привлечения огромных ресурсов. "Управление в масштабе Интернета требует большого количества людей, что не удовлетворяет инвестиционному подходу предприятий" - говорит Тридвей.

"Мы используем уникальную конфигурацию, спроектированную специально для предприятий, таким образом, они могут использовать Hadoop, который и легко подстроить под себя, и который быстро работает" - добавляет Тридвей. Также надежно, со встроенной стабильностью и исчезает необходимость в хранении множества копий данных, как в случае с развертыванием интернет-масштаба Hadoop.

Это дает покупателям NetApp столь нужное чувство комфорта. "Одно, когда вы теряете фотографию на Facebook", - говорит Тридвей - "и совершенно другое, если вы отстаете с алгоритмом для продажи и теряете миллиарды долларов."

Одно из самых главных преимуществ Hadoop - скорость. Скажу даже больше, Hadoop способен генерировать комплексный отчет, который включает данные, хранящиеся в миллиардах записей. Раньше составление такого отчета заняло бы недели. Это значит, что в бизнес-аналитиках больше нет надобности у тех, кто действует быстрее.

Возможности для Hadoop на предприятиях практически бесконечны. Hadoop установка имеет потенциал облегчить управление картинками, видео- и звуковыми файлами. Например, доктор может быстро найти дата-центр здравоохранительной компании для заполнения истории болезни пациента и посмотреть, например, рентген или МРТ-снимки.

Единственный большой минус Hadoop - его неспособность работать сквозь сетевое оборудование, расположенное в разных точках. И причина этого проста - информация не может перемещаться между дата-центрами достаточно быстро, чтобы приносить пользу.

В результате, компании облачных вычислений, как, например, Facebook, были вынуждены построить объекты большего размера, чтобы размещать там все обновления статуса, комментарии, фотографии и другую информацию, которую размещают пользователи социальной сети (порядка 2,5 миллиардов частиц контента каждый день).

И даже эта проблема скоро уйдет благодаря новому проекту Facebook, название которого Prism, который сможет автоматически повторять и копировать данные, где бы они ни понадобились в географически разбросанной сети Hadoop.

"Prism" позволяет нам физически отделить этот массивный дата-центр, но при этом сохранить его единое логическое представление", - рассказал "Wired" в недавнем интервью гуру инженерии компании Facebook Джей Парих. "Мы можем передвигать центры вокруг, в зависимости от стоимости или производительности технологии. Мы не связаны максимальным количеством энергии, которую мы объединяем в едином дата-центре".