В каком-то смысле большие данные - это именно то, на что это похоже - много данных. С момента появления Интернета мы производим данные в ошеломляющих количествах. Подсчитано, что за все время до 2003 года было сгенерировано всего 5 экзабайт данных, что равно 5 миллиардам гигабайт. Но с 2003 по 2012 год объем достиг примерно 2,7 зеттабайт (или 2700 эксабайт, или 2,7 триллиона гигабайт). По словам исследователей из Беркли, сейчас мы производим примерно 5 квинтиллионов байт (или около 4,3 экзабайт) данных каждые два дня.
Термин «большие данные» обычно используется для обозначения массивных, быстро расширяющихся, разнообразных и часто неструктурированных наборов оцифрованных данных, которые трудно поддерживать с помощью традиционных баз данных. Он может включать в себя всю цифровую информацию, циркулирующую в эфире Интернета, конфиденциальную информацию компаний, с которыми мы вели дела, и официальные правительственные документы, а также многое другое. Также подразумевается, что данные анализируются с какой-то целью.
Многие из них мы создали сами, совершая онлайн-покупки и участвуя в социальных сетях, но это только верхушка айсберга. Большие данные могут включать в себя оцифрованные документы, фотографии, видео, аудиофайлы, твиты и другие публикации в социальных сетях, электронные письма, текстовые сообщения, телефонные записи, запросы поисковых систем, сканирование RFID-меток и штрих-кодов, а также записи финансовых транзакций. единственные источники. Вы производите данные каждый раз, когда делаете что-либо в Интернете, оставляя цифровой след, который другие могут найти и извлечь из него полезную информацию.
Количество и типы устройств, которые производят данные, также множатся. Помимо домашних компьютеров и торговых точек розничной торговли, у нас есть подключенные к Интернету смартфоны, весы с поддержкой Wi-Fi, которые сообщают о нашем весе в Твиттере, фитнес-датчики, которые отслеживают, а иногда и обмениваются данными о здоровье, камеры, которые могут автоматически публиковать фотографии и видео в Интернете, и спутники глобального позиционирования (GPS), которые могут точно определить наше местоположение на земном шаре, и это лишь некоторые из них. Не забывайте датчики погоды и дорожного движения, камеры наблюдения, датчики в автомобилях и самолетах и другие вещи, не связанные с физическими лицами, которые постоянно собирают данные. Большое количество электронных устройств, которые генерируют и загружают данные, породили термин «Интернет вещей».
Вы найдете множество определений больших данных, поэтому не все полностью согласны с тем, что включено, но это может быть что угодно, что кому-либо может быть интересно узнать, что может быть подвергнуто компьютерному анализу. И эти большие громоздкие наборы данных требуют новых методов их сбора, хранения, обработки и анализа.
Как анализируются и используются большие данные
Большие данные необходимо собирать, обрабатывать, связывать и интерпретировать, чтобы они могли быть кому-то полезны. Компаниям и другим организациям необходимо фильтровать огромное количество доступных данных, чтобы выбрать наиболее важные для них. К счастью, аппаратное и программное обеспечение, способное обрабатывать, хранить и анализировать огромные объемы информации, становится все дешевле и быстрее, поэтому для работы больше не требуются массивные и непомерно дорогие суперкомпьютеры. Некоторое программное обеспечение становится более удобным для пользователя, поэтому для обработки данных не обязательно нужна команда программистов и специалистов по данным (хотя никогда не помешает иметь знающих людей, которые могут понять ваши требования).
Компании пользуются услугами облачных вычислений, поэтому им даже не нужно покупать собственные компьютеры для обработки всех этих данных. Центры обработки данных, также называемыесерверными фермами, могут распределять пакеты данных для обработки по нескольким серверам, а количество серверов можно быстро увеличивать или уменьшать по мере необходимости. Эти масштабируемые распределенные вычисления выполняются с использованием таких инновационных инструментов, как Apache Hadoop, MapReduce и Massively Parallel Processing (MPP). Базы данных NoSQL были разработаны как более легко масштабируемые альтернативы традиционным системам баз данных на основе SQL.
Большая часть этой обработки и анализа больших данных направлена на поиск закономерностей и корреляций, которые обеспечивают понимание, которое можно использовать или использовать для принятия решений. Компании теперь могут собирать огромные объемы данных для получения информации о потребительских привычках, популярности их продуктов или более эффективных способах ведения бизнеса. Аналитика больших данных может использоваться для нацеливания релевантной рекламы, продуктов и услуг на клиентов, которые, по их мнению, с наибольшей вероятностью купят их, или для создания рекламы, которая с большей вероятностью понравится широкой публике. Компании теперь даже начинают делать такие вещи, как отправка рекламы и купонов в реальном времени людям через их смартфоны для мест, которые находятся рядом с местами, где они недавно использовали свои кредитные карты.
Но не только для того, чтобы заставить нас что-то покупать. Предприятия могут использовать эту информацию для повышения эффективности и практики, например, для поиска наиболее рентабельных маршрутов доставки или более подходящего складирования товаров. Правительственные агентства могут анализировать схемы дорожного движения, преступность, использование коммунальных услуг и другие статистические данные для улучшения политических решений и государственной службы. Спецслужбы могут использовать его для шпионажа и, возможно, для предотвращения преступных и террористических заговоров. Новостные агентства могут использовать его для выявления тенденций и разработки материалов и, конечно же, для написания дополнительных статей о больших данных.
По сути, большие данные позволяют организациям использовать данные почти в режиме реального времени для обоснования решений, а не полагаться в основном на старую информацию, как в прошлом. Но эта способность видеть, что происходит с нами в настоящем, и даже иногда предсказывать наше поведение в будущем, может быть немного жутковатой.
Большие данные: друг или враг?
Идея больших данных вызывает у многих из нас беспокойство. Это звучит очень похоже на «Большого брата» Оруэлла, и с рекламой компаний, которые, кажется, знают, что мы делаем, и недавними разоблачениями внутреннего шпионажа АНБ, понятно, что некоторые люди находят огромное количество информации обо всех нас тревожным..
Люди могут многое рассказать о вас из этих данных, включая ваш возраст, пол, сексуальную ориентацию, семейное положение, уровень дохода, состояние здоровья, вкусы, хобби, привычки и целый ряд других вещей, которые вы можете или можете знать. не хочу быть достоянием общественности. Им нужно только иметь средства и волю, чтобы собрать и проанализировать ее. И независимо от того, хорошо это или плохо, это может иметь непредвиденные последствия.
Мы раскрываем больше информации, чем думаем, компаниям, с которыми мы ведем дела, особенно если мы используем карты лояльности или расплачиваемся кредитными или дебетовыми картами. Кто-то может многое узнать о вас, просто проанализировав ваши покупки. Target получила прессу, когда обнаружилось, что они могут точно определить, какие клиенты беременны и даже насколько они близки к срокам родов, по таким вещам, как типы добавок и лосьонов, которые они покупают. В одном случае Target начала рассылать купоны на детские товары непосредственно девочке-подростку, вызвав гнев ее отца на компанию за то, что она рассылала ей рекламу, которую он считал неуместной по возрасту, - пока он не узнал о ее беременности..
Правительства и защитники конфиденциальности предприняли попытки регулировать способы использования или раскрытияличной информации (PII) людей, чтобы дать людям некоторый контроль над тем, что становится общедоступным знание. Но прогнозная аналитика может обойти многие существующие законы (которые в основном касаются конкретных типов данных, таких как ваши финансовые, медицинские или образовательные записи), позволяя компаниям делать выводы о вас косвенно и, вероятно, без вашего ведома, используя разрозненные фрагменты информации, собранные из цифровых источников.. Некоторые компании используют эту информацию для таких вещей, как проверка кредитоспособности потенциальных клиентов, используя данные, отличные от типичного кредитного рейтинга, который может быть хорошим или плохим для вас, в зависимости от того, что они находят и как они это интерпретируют. Одно беспокойство, однако, заключается в том, что этот тип личной информации может привести к трудно обнаруживаемой дискриминации при трудоустройстве, жилье или кредитовании. И что еще хуже, это не всегда может быть абсолютно точным.
Кроме того, шаблоны, наблюдаемые в больших данных, могут быть неправильно истолкованы и привести к неверным решениям. Как и любой инструмент, результаты зависят от того, насколько хорошо он используется. Несмотря на то, что здесь задействована математика, аналитика больших данных не является точной наукой, и человеческое планирование и принятие решений должны где-то вмешиваться. При наличии огромных наборов данных необходимо выносить суждения о том, что важно, а что можно игнорировать. Но хорошая аналитика больших данных может дать компаниям конкурентное преимущество.
Такой анализ можно использовать для заведомо хороших вещей, например, для борьбы с мошенничеством. Банки, поставщики кредитных карт и другие компании, работающие с деньгами, все чаще используют аналитику больших данных для выявления необычных закономерностей, указывающих на преступную деятельность. В индивидуальной учетной записи они могут быть быстро предупреждены о красных флажках, таких как покупка необычных предметов, суммы, которые клиент обычно не тратит, странное географическое положение или небольшая пробная покупка, за которой следует очень крупная покупка. Шаблоны для нескольких учетных записей, такие как аналогичные платежи по разным картам из одной и той же области, также могут предупредить компанию о возможном мошенническом поведении.
Огромные наборы данных могут помочь в научных и социологических исследованиях, предсказаниях выборов, прогнозах погоды и других полезных занятиях. Сообщения в социальных сетях и поиск в Google даже использовались, чтобы быстро выяснить, где происходят вспышки заболеваний. Так что это не все плохие новости. Просто потребуется время, чтобы решить все потенциальные проблемы и ввести в действие законы, которые защитят нас от потенциального вреда. До тех пор, если вы беспокоитесь, вы можете вернуться к покупкам за наличные и посмотреть, что вы публикуете о себе. Тем не менее, мы, вероятно, слишком далеко зашли в кроличью нору, чтобы кто-то из нас был полностью вне поля зрения.
Примечание автора: что такое «большие данные»?
Как и все остальное, большие данные можно использовать во благо, во вред и во многих других целях. Наличие рекламы и купонов, ориентированных на нас, может быть удобным или серьезным раздражением. И это более чем нервирует, когда незнакомые люди могут узнать о нас только потому, что мы крадем пластик в их магазинах или пользуемся их картами.
Карты лояльности Я всегда считал, что это способ сбора данных о наших покупках, но я действительно не понимал, сколько подобных данных было привязано к нам индивидуально через дебетовые / кредитные покупки до сих пор, или невероятная детализация о нашей жизни, которые можно было бы различить из него. И это даже не считая всей остальной информации о нас в Интернете.
Мысль о том, что каждый мой шаг анализируется, вызывает у меня желание немного уйти от сети, прекратить публиковать сообщения в Интернете и использовать наличные деньги для всего. Хотя большинство из нас, включая меня, вероятно, будут продолжать в том же духе из соображений удобства. Я просто могу публиковать и покупать, как будто за мной следят.