Долговременное хранение информации: Самый надежный способ хранения данных. Где лучше хранить файлы

Система долговременного хранения информации Cold Storage от компании Facebook

Обслуживание инфраструктуры ЦОД для такой крупной компании, как Facebook, предполагает решение задач совершенно нового типа. Одной из таких задач является хранение огромного объема данных, загружаемых пользователями на сервера компании, и обеспечение мгновенной доступности этих данных.

При этом, необходимо оставаться в рамках бюджета, выделяемого на организацию систем хранения данных. Инженеры Facebook изучили статистику доступа к пользовательским файлам и пришли к выводу, что мгновенная доступность не является обязательным условием для всех загружаемых файлов. Для большей части данных рано или поздно наступает момент, когда пользователи практически перестают получать к ним доступ.

Модифицированная серверная стойка Open Rack для системы Cold Storage.

Технические специалисты Facebook приняли решение о создании отдельной системы хранения информации, оптимизированной с точки зрения объема и стоимости, а не производительности и доступности. Загружаемые файлы попадают в систему после того, как завершается пик пользовательской активности в отношении этих файлов. Facebook строит для этой системы отдельное здание рядом с главным ЦОД Prineville, расположенным г. Прайнвилл, штат Орегон. Система получила название Cold Storage (долговременное хранение информации). Стивен Чан, менеджер Facebook по техническим программам, рассказал посетителям проходившего в силиконовой долине мероприятия Open Compute Summit об особенностях используемых в компании систем долговременного хранения информации.

Модифицированная система хранения информации Open Vault

Cold Storage разрабатывается на базе созданной инженерами Facebook системы хранения Open Vault, которая используется в дата-центрах компании. Модуль Open Vault представляет собой серверное шасси высотой 2U, в которое можно установить до 30 дисков. Шасси Open Vault устанавливаются в разрабатываемых инженерами компании серверных стойках типа Open Rack. Спецификации для серверных стоек были выложены в открытый доступ в рамках проекта Open Compute Project. Стойки Open Rack были модифицированы для использования в системе хранения Cold Storage.

Основной целью проектирования новой системы было снижение энергопотребления и сокращение стоимости хранения информации вместе с увеличением плотности ее размещения, утверждает Чан. Одним из методов снижения энергопотребления стало сокращение числа головных узлов (head node), предназначенных для управления серверами. Используемая в системе долговременного хранения стойка Open Rack включает в себя два головных узла, каждый из которых контролирует восемь модулей типа Open Vault.

Количество используемых дисков, напротив, было увеличено с 270 до 480 штук. Это позволяет хранить в каждой стойке до двух петабайт данных. Инженеры смогли разместить дополнительные диски за счет сокращения числа головных узлов и использования одной секции питания (power shelf) вместо трех. Секция питания обеспечивает питанием расположенные в стойке сервера. Секция питания в системе Cold Storage включает в себя семь блоков питания с возможностью горячей замены, обеспечивающих избыточность по схеме 6+1.

Механизм доступа к данным был настроен таким образом, что одновременно в стойке вращается только 32 из 480 дисков: по одному диску в каждой корзине. Это позволило еще более значительно снизить энергопотребление. Поскольку доступ к файлам осуществляется редко, неиспользуемые диски отключаются. Система долговременного хранения допускает подобную гибкость. Инженеры определили, что время ожидания доступа к старому файлу, равное времени раскрутки диска, является приемлемым, утверждает Чан. В результате, общее энергопотребление стойки было снижено до 2кВт, что в 4 раза меньше аналогичного показателя для стандартных серверных стоек компании.

Одним из факторов, влияющих на стоимость хранения информации, является тип используемых устройств хранения. Специалисты Facebook должны были найти недорогое решение, которое могло бы использоваться в многодисковой среде. В системе Cold Storage используются диски SATA, которые не рассчитаны на постоянную эксплуатацию, но могут легко менять скорость вращения. Они не обладают высокой устойчивостью к колебаниям, не оснащаются акселерометрами и не поддерживают горячую замену. Если один из них выходит из строя, технический специалист отключает систему и меняет диск вручную.

Резервное хранилище не резервируется

Серверные стойки в системе долговременного хранения информации не оснащаются традиционными схемами резервного питания, такими, как ИБП и дизель-генераторы. Они не подключаются к 48В батарейным шкафам, которые используются в качестве источников резервного питания в главных ЦОД компании. Система Cold Storage является резервным хранилищем информации и, по словам Чана, резервировать ее нет необходимости.

Специалисты компании решили разместить Cold Storage в отдельном здании в связи с низким энергопотреблением стоек при высокой плотности их размещения. Согласно их расчетам, для питания массива дисков емкостью один экзабайт при размещении в ЦОД Prineville потребовалось бы около 1,5МВт. В дата-центре достаточно быстро закончилось бы свободное пространство, говорит Чен. Здание, в котором размещается система долговременного хранения, представляет собой максимально облегченную прямоугольную коробку. На бетонных плитах устанавливаются стойки весом 1300кг, объединенные в горячие коридоры.

Подобно библиотекарю, который уходит вглубь книжных полок, чтобы найти нужную вам книгу, сервера Facebook тратят несколько секунд для того, чтобы вы смогли получить доступ к фотографии, сделанной в отпуске три года назад. Программное обеспечение Facebook должно обратиться к системе долговременного хранения информации и, возможно, раскрутить жесткий диск прежде, чем изображение появится на экране вашего устройства.

Длительное хранение — информация — Большая Энциклопедия Нефти и Газа, статья, страница 3

Cтраница 3

Накопители на жестких магнитных дисках ( НЖМД, жесткие диски, Hard Disk Drive — HDD) представляют собой устройства, предназначенные для длительного хранения информации.
 [32]

КТС — это совокупность взаимосвязанных единым управлением автономных технических средств ( ТС) сбора, накопления, обработки, передачи, вывода и представления информации, а также устройств управления, средств оргтехники, предназначенных для длительного хранения информации и обмена данными между различными техническими средствами.
 [33]

При создании многоканальных автоматических регистраторов и необходимости длительного хранения измерительной информации единственно возможным решением задачи автоматизации регистрации как сегодня, так и в ближайшем будущем является построение двух — или более уровневой иерархической системы памяти на основе разнотипных ЗУ с различным объемом и быстродействием, обладающих возможностями длительного хранения информации. В этом случае целесообразно использовать архитектуру типа ОЗУ — долговременное ЗУ ( ДЗУ), например на базе накопителей на магнитной ленте, барабане или дисках, а также ленточных и карточных перфораторов.
 [35]

Известно большое количество материалов, которые можно использовать в деформируемых слоях. Однако для длительного хранения информации пригодны лишь твердые термопластики. Запись информации на твердом термопластике осуществляется следующим образом. Перемещающийся по рабочему слою электронный луч, модулированный по интенсивности, наносит на рабочий слой электрические заряды, которые образуют скрытое изображение. Между зарядами и металлической подложкой возникают электростатические силы. Затем скрытое изображение проявляют.
 [36]

Для компьютерной обработки экспериментальных данных разработано специальное программное обеспечение, позволяющее оформить протокол градуировки с соответствующими графиками и инструкционную карту контроля, которая содержит сведения о конструктивных особенностях соединения и об усилии затяжки каждой резьбовой детали. Предусмотрено накопление и длительное хранение информации на внешних носителях, что рассчитано на создание в перспективе соответствующих баз данных. Ведется работа по полной автоматизации процесса сбора и обработки измерительной информации, однако даже при использовании компьютера в диалоговом режиме существенно повысились оперативность и надежность контроля.
 [37]

При решении задач в ОЗУ хранится информация, непосредственно необходимая для выполнения операций. ВЗУ используется для длительного хранения информации, которая не может быть помещена в ОЗУ.
 [38]

Наряду с оперативной памятью в состав УВМ входит внешнее запоминающее устройство, выполненное на магнитных барабанах и магнитных лентах. Как уже говорилось, внешняя память используется для длительного хранения информации, которая зяе может быть одновременно помещена в оперативной памяти. Обычный режим использования внешней памяти состоит в том, что отдельные отрезки информации в нужный момент времени вызываются в оперативную память для ее дальнейшей переработки. Информация, полученная в оперативной памяти, в свою очередь может быть передана на хранение во внешнюю память. Для реализации этих возможностей в наборе элементарных операций машины имеются специальные операции обмена информацией между оперативной и внешней памятью.
 [39]

В ЗУ на ЛЗ чтение информации происходит с ее разрушением. Для обеспечения неразрушающего считывания, а также в режиме длительного хранения информации выход УЧ должен быть соединен со входом УЗ. Поиск информации в таком ЗУ может производиться как по В-способу, так и по комбинированному УИ-В-способу с внешней синхронизацией без МИ. Адресная выборка в этом случае строится по схеме с последовательной, параллельной либо последовательно-параллельной записью.
 [40]

Запоминающие устройства ( ЗУ) являются основной частью ЭВЦМ я — служат для хранения кодов чисел, а также осуществляют их запись и считывание. Некоторое виды ЗУ могут использоваться ] как устройства для длительного хранения информации, в том числе геофизической, получаемой в процессе измерений.
 [42]

Магнитный барабан относится к категории средней по быстродействию памяти. Запоминающие устройства на магнитном барабане обладают ограниченной емкостью и не приспособлены для длительного хранения информации. Стоимость их довольно высока.
 [43]

Этот лак должен обладать свойствами остаточной намагниченности и иметь значительную коэрцитивную силу, что способствует длительному хранению информации без восстановления и при отключенном питании.
 [45]

Страницы:  

   1

   2

   3

   4

Память – Общая психология

Перейти к содержимому

Память

Цели обучения

• Описать три этапа хранения в памяти
• Опишите и различайте имплицитную и эксплицитную память, а также семантическую и эпизодическую память

После того, как информация закодирована, мы должны как-то ее сохранить. Наш мозг берет закодированную информацию и помещает ее в хранилище. — это создание постоянной записи информации.

Чтобы попал в хранилище (то есть в долговременную память), он должен пройти три отдельных этапа: , Кратковременная память и, наконец, Долговременная память . Эти этапы были впервые предложены Ричардом Аткинсоном и Ричардом Шиффрином (1968). Их модель человеческой памяти (рис. 1), названная Аткинсоном-Шиффрином (А-Ш), основана на убеждении, что мы обрабатываем воспоминания так же, как компьютер обрабатывает информацию.
Рисунок 1 . Согласно модели памяти Аткинсона-Шиффрина, информация проходит три различных этапа, прежде чем она будет сохранена в долговременной памяти.

Но A-S — это всего лишь одна из моделей памяти. Другие, такие как Baddeley и Hitch (1974), предложили модель, в которой кратковременная память сама по себе имеет разные формы. В этой модели хранение воспоминаний в кратковременной памяти похоже на открытие различных файлов на компьютере и добавление информации. Тип кратковременной памяти (или компьютерного файла) зависит от типа полученной информации. Существуют воспоминания в визуально-пространственной форме, а также воспоминания об устном или письменном материале, и они хранятся в трех краткосрочных системах: зрительно-пространственном блокноте, эпизодическом буфере и фонологической петле. Согласно Баддели и Хитчу, центральная исполнительная часть памяти контролирует или контролирует поток информации к трем краткосрочным системам и от них.

Сенсорная память

В раздражители из окружающей среды сначала обрабатываются в : хранение кратких сенсорных событий, таких как образы, звуки и вкусы. Это очень кратковременное хранение — до пары секунд. Нас постоянно бомбардируют сенсорной информацией. Мы не можем поглотить все это или даже большую часть. И большая часть из них никак не влияет на нашу жизнь. Например, во что был одет ваш профессор на последнем уроке? Пока профессор был одет подобающим образом, на самом деле не имеет значения, во что она была одета. Сенсорная информация о видах, звуках, запахах и даже текстурах, которую мы не рассматриваем как ценную информацию, мы отбрасываем. Если мы считаем что-то ценным, информация переместится в нашу систему кратковременной памяти.

В ходе одного исследования сенсорной памяти изучалось значение ценной информации в краткосрочной памяти. Дж. Р. Струп открыл феномен памяти в 1930-х годах: вам будет легче назвать цвет, если он напечатан в этом цвете, что называется эффектом Струпа . Другими словами, слово «красный» будет называться быстрее, независимо от цвета, в котором оно появляется, чем любое слово, окрашенное в красный цвет. Проведите эксперимент: назовите цвета слов, данных вам на рис. 2. Не читайте слова, а называйте цвет, которым напечатано слово. Например, увидев слово «желтый» зеленым шрифтом, вы должны сказать «зеленый», а не «желтый». Этот эксперимент забавен, но не так прост, как кажется.

Рисунок 2 . Эффект Струпа описывает, почему нам трудно назвать цвет, когда слово и цвет слова разные.

Кратковременная память

— система временного хранения, обрабатывающая поступающую сенсорную память; иногда ее называют рабочей памятью. Кратковременная память берет информацию из сенсорной памяти и иногда связывает эту память с чем-то, что уже находится в долговременной памяти. Кратковременная память длится около 20 секунд. Джордж Миллер (1956) в своем исследовании объема памяти обнаружил, что большинство людей могут запомнить около 7 элементов в СТМ. Кто-то помнит 5, кто-то 9, поэтому он назвал емкость STM 7 плюс-минус 2.

Думайте о кратковременной памяти как об информации, отображаемой на экране вашего компьютера — в документе, электронной таблице или веб-странице. Затем информация из кратковременной памяти переходит в долговременную память (вы сохраняете ее на жесткий диск) или отбрасывается (вы удаляете документ или закрываете веб-браузер). Этот шаг репетиция , сознательное повторение информации, которую нужно запомнить, для перемещения СТМ в долговременную память называется .

Вы можете задаться вопросом: «Сколько информации может обрабатывать наша память одновременно?» Чтобы изучить объем и продолжительность вашей кратковременной памяти, попросите партнера прочитать вам вслух цепочки случайных чисел (рис. 3), начиная каждую строку со слов «Готов?» и заканчивая каждый, говоря «Вспомнить», после чего вы должны попытаться записать строку чисел по памяти.

Рисунок 3 . Проработайте эту серию чисел, используя описанное выше упражнение на запоминание, чтобы определить самую длинную последовательность цифр, которую вы можете запомнить.

Обратите внимание на самую длинную строку, в которой вы получили правильный ряд. Для большинства людей это будет близко к 7, знаменитому Миллеру 7 плюс-минус 2. Припоминание несколько лучше для случайных чисел, чем для случайных букв (Jacobs, 1887), а также часто немного лучше для информации, которую мы слышим (акустическое кодирование). чем видеть (визуальное кодирование) (Андерсон, 19 лет)69).

Долговременная память

Долговременная память (LTM) — это непрерывное хранение информации. В отличие от кратковременной памяти, объем памяти LTM не имеет ограничений. Он включает в себя все, что вы можете вспомнить, что произошло более чем несколько минут назад, и все, что вы можете вспомнить, что произошло дни, недели и годы назад. В соответствии с аналогией с компьютером информация в вашем LTM будет похожа на информацию, которую вы сохранили на жестком диске. Ее нет на вашем рабочем столе (в вашей кратковременной памяти), но вы можете получить эту информацию, когда захотите, по крайней мере, большую часть времени. Не все долгосрочные воспоминания являются сильными воспоминаниями. Некоторые воспоминания можно вызвать только с помощью подсказок. Например, вы можете легко вспомнить факт («Какая столица Соединенных Штатов?») или процедуру («Как вы ездите на велосипеде?»), но вам может быть сложно вспомнить название ресторана, в котором вы обедали. когда вы были в отпуске во Франции прошлым летом. Подсказка, например, что ресторан был назван в честь его владельца, который рассказал вам о вашем общем увлечении футболом, может помочь вам вспомнить название ресторана.

Долговременная память делится на два типа: явную и неявную (рис. 4). Понимание различных типов важно, потому что возраст человека или определенные типы травм или расстройств головного мозга могут оставить нетронутыми определенные типы LTM, но иметь катастрофические последствия для других типов. — это те, которые мы сознательно пытаемся запомнить и припомнить. Например, если вы готовитесь к экзамену по химии, материал, который вы изучаете, будет частью вашей явной памяти. (Примечание: иногда, но не всегда, термины явная память и взаимозаменяемы.)

— это воспоминания, которые не являются частью нашего сознания. Это воспоминания, сформированные из поведения. Неявная память также называется недекларативной памятью.

Рисунок 4 . Есть два компонента долговременной памяти: эксплицитная и имплицитная. Эксплицитная память включает эпизодическую и семантическую память. Имплицитная память включает в себя процедурную память и информацию, полученную в результате обусловливания.

— тип имплицитной памяти: он хранит информацию о том, как что-то делать. Это память на искусные действия, например, как чистить зубы, как водить машину, как плавать кролем (вольным стилем). Если вы учитесь плавать вольным стилем, вы практикуете гребок: как двигать руками, как поворачивать голову, чтобы чередовать дыхание из стороны в сторону, и как бить ногами. Вы будете практиковать это много раз, пока не станете в этом хороши. Как только вы научитесь плавать вольным стилем и ваше тело научится двигаться по воде, вы никогда не забудете, как плавать вольным стилем, даже если не плаваете пару десятков лет. Точно так же, если вы подарите опытному гитаристу гитару, даже если он давно не играл, он все равно сможет играть достаточно хорошо.

Эксплицитная память связана с хранением фактов и событий, которые мы пережили лично. Эксплицитная (декларативная) память состоит из двух частей: и эпизодической памяти. Семантический означает, что он имеет отношение к языку и знаниям о языке. Примером может служить вопрос «что означает аргументативный ?» В нашей семантической памяти хранятся знания о словах, понятиях, языковых знаниях и фактах. Например, в вашей семантической памяти хранятся ответы на следующие вопросы:

• Кто был первым президентом США?
• Что такое демократия?
• Какая самая длинная река в мире?

— это информация о событиях, которые мы лично пережили. Концепция эпизодической памяти впервые была предложена около 40 лет назад (Tulving, 1972). С тех пор Тулвинг и другие изучили научные данные и переформулировали теорию. В настоящее время ученые считают, что эпизодическая память — это память о событиях в определенных местах в определенное время, о том, что, где и когда произошло событие (Tulving, 2002). Это включает в себя припоминание визуальных образов, а также чувство знакомства (Hassabis & Maguire, 2007).

Связь на каждый день: можете ли вы вспомнить все, что вы когда-либо делали или говорили?

Эпизодические воспоминания также называют автобиографическими воспоминаниями. Давайте быстро проверим вашу автобиографическую память. Что ты был одет ровно пять лет назад сегодня? Что вы ели на обед 10 апреля 2019 года? Вероятно, вам будет трудно, если не невозможно, ответить на эти вопросы. Можете ли вы вспомнить каждое событие, которое вы пережили в течение своей жизни — приемы пищи, разговоры, выбор одежды, погодные условия и так далее? Скорее всего, никто из нас даже близко не смог бы ответить на эти вопросы; однако американская актриса Марилу Хеннер, наиболее известная по телешоу Такси, могу вспомнить. У нее потрясающая и превосходная автобиографическая память (рис. 7).

Рисунок 7 . Суперавтобиографическая память Марилу Хеннер известна как гипертимезия. (кредит: Марк Ричардсон)

Очень немногие люди могут вспоминать события таким образом; прямо сейчас только 12 известных людей обладают этой способностью, и лишь некоторые из них изучены (Parker, Cahill & McGaugh 2006). И хотя гипертимезия обычно проявляется в подростковом возрасте, у двоих детей в Соединенных Штатах, по-видимому, есть воспоминания задолго до своего десятого дня рождения.

Если вы хотите узнать больше, посмотрите эти видеоклипы, часть 1 и часть 2, посвященные превосходной автобиографической памяти, из телевизионного новостного шоу 60 минут .

Смотреть

В этом видео Хэнк Грин рассказывает о нескольких исследованиях, которые помогли нам лучше понять имплицитные воспоминания.