Amazon S3
Хранение данных – очень серьезный вопрос, который ставит перед нами довольно много серьезных вопросов. Один из которых: где хранить.
Используются и внешние носители, типа cd/dvd болванок, и внешние жесткие диски и даже флешки. Некоторые организуют RAID или просто используют дополнительный жесткий диск в своем системном блоке, которые используют эпизодически, только для сохранения своих резервных копий. Или даже производят отключение устройства для более надежной организации хранения данных.
Другой способ – это использование интернет-хранилищ. Например DropBox. Бесплатно предоставляется 2 гигабайта дискового пространства, которое можно расширить до 5 гигабайт за счет привлечения своих знакомых к использованию данного сервиса. Принцип в том, что если ваш знакомый подключается к DropBox по вашей инвайт-ссылке, то вы оба получаете дополнительные 250 мегабайт дискового пространства. Оба в плюсе. Кстати, если интересно, то вот моя инвайт-ссылка. Но порой ведь и 5 гигабайт мало, для таких случаев DropBox предлагает платные тарифы, в 50 гигабайт и 100 гигабайт, за 10$ и 20$ соответственно.
Чем DropBox лучше того же Яндекс.Диска? Тем, что дропбокс использует для работы специальное программное обеспечение, которое позволяет синхронизировать целые каталоги с интернет-хранилищем. В то время как Яндекс.Диск позволяет только сохранить один файл.
Все это великолепно, однако использование дропбокса порой довольно нервный процесс. То место поджимает, если использовать бесплатный вариант, то жаба душит платить за 50 гигабайт, когда используешь только 10. Что же делать? Что-что, использовать Amazon S3, услуги которого предоставляет DropBox, напрямую!
В статье Amazon & CloudFront я уже описывал, как подключиться к Amazon и как производиться подключение услуг к своему аккаунту (есть пример скрипта под Linux). Тут хотел бы обратить внимание только на то, что для хранения резервных копий или своих документов нам потребуется только Amzon S3.
В чем преимущество использование Amazon? В том, что платим мы только за то, что используем. И при этом цены минимальные. Взгляните сами на price! 15 центов (4.5 рубля) в месяц за хранение одного гигабайта информации?? Плюс к этому оплата трафика в том же размере. То есть размещение и хранение одного гигабайта будет стоить 9 рублей в месяц.
Кстати, до 30 июня текущего года проходит акция, по которой весь входящий трафик не учитывается, то есть является бесплатным. Хранение 10 гигабайт информации обойдется всего в 45 рублей в месяц.
Осталось только разобраться как проще всего работать с Amazon S3. Для этого на сегодняшний момент уже написано довольно большое количество программ (API открытое и ничто не будет мешать вам создать собственное программное обеспечение, с нужным функционалом). Небольшой мануал и список программ можно посмотреть на странице.
Я же порекомендую обратить внимание на бесплатную программу CloudBerry Explorer (CloudBerry переводиться как морошка). Поддерживает Micorsoft PowerShell и новый сервис Амазон CloudFront. Единственное ограничение – работает только в Windows.
После установки и запуска программы появляется окно регистрации, которое можно просто закрыть, а можно указать свой email-адрес, на который бесплатно высылается ключ. Далее нужно только добавить данные своего сервера, указав ключи и можно работать! Программа довольно простая и выглядит как обычный двухпанельный менеджер файлов.
Причем количество сессий не ограничено, можно использовать одновременно множество аккаунтов S3-серверов. Создание «папки», копирование/перемещение и установка прав доступа интуитивно понятные операции, которые не требуют особых знаний и умений. Но хочется остановиться на возможности синхронизации файлов.
Для этого используется пункт меню Sync Folders:
Достаточно только добавить папку для синхронизации через пункт Add Sync Folders, указать папку, которую будем синхронизировать и где она будет размещаться. Далее появляется небольшое подменю, в котором можно уже выбрать саму операцию синхронизации с указанием направления (то есть откуда и куда копировать при необходимости).
Единственное ограничение заключается в том, что для совершения синхронизации нужно вручную выбрать нужный пункт меню. Программа пока не позволяет это автоматизировать.
Таким образом за копейки мы организовали надежное хранение своей информации с которой довольно просто работать и к которой можно обращаться с любой точки земного шара. Фактически создали базу для хранения резервных копий важных документов и файлов, которую можно будет использовать для восстановления в случае сбоя жесткого диска. И при этом уже не нужно переживать по поводу того, что места мало осталось в хранилище или что это стоит кучу денег…
Ну а в следующий раз мы с вами попробуем организовать работу интернет-сервиса с использованием Amazon S3.
А можно ли например обращаться к этой информации, через сайт? Т.е. например я сделал страницу доступ к которой только логину\паролю, и оттуда мог бы всегда посмотреть\скачать содержимое моего хранилища?
Знаешь, я еще не настолько хорошо разобрался во всем этом деле. Судя по тому, как работает Picasa, это можно организовать.
Все это хорошо, но пригодно лишь для «сохранить 20 моих doc/xls/jpg файлов», не более. Вот у меня, например, дома развернута bacula и каждую ночь проходит бакап /home со всех компов (full – раз в месяц, diff – раз в неделю, inc – каждую ночь) + /etc + список пакетов установленных на компах. Все это дело в среднем занимает 120-150 гиг. Считаю это вполне нормальным бакапом. Все остальное – баловство. Но такие объемы не реально лить куда-то, да и хранение таких объемов в копеечку выльется.
Если подумать, то 120-150 гигов, они же не постоянно меняются? И не постоянно обновляются? Можно в течение месяца двух залить на сервер, или воспользоваться услугой доставки информации винтом по почте (хотя для обычного человека, не организации, это накладно выйдет). А после того, как инфа окажется на серверах, обновлять ее частично, по мере изменения.
Так что, вполне себе вариант!
Эти данные меняются раз в месяц. Так что не вариант. В общем если да такого «облачного хранилища» у меня не будет 100 мегабит, то ни как не вариант.
Ну и как я уже говорил, если бакап – это «раз в пол года скопировать насобиравшиеся doc/xls/jpg», то конечно же нормально будет. Просто это нельзя называть бакапом, сорри. Для домашнего пользователя пока оптимальный вариант получается все же купить для бакапа большой винт.
Правда к большому сожалению бакап делают единицы…
Даже при 100 мегабитах не успеешь обновить. Что там за бекапы такие у тебя? Видео? Звук? За неделю 120-150 гигабайт обновить, это или крупную компанию нужно иметь, с работающей базой или все таки заниматься контентом. В таких случаях облако не используют. Смысла нет.
Для бекапов таких вещей используется только локальные диски, рейды.
Так что мы говорим немного о разных вещах.
Прекрасно успевает.
Бакапы: /home с 3-х компов. Все просто. Естественно там и видео бывает, и музыка, и документы, и так далее.
А успеет, потому что не раз в месяц все 150 гиг обновляются, а в течении месяца. К примеру 1-ого числа происходит полный бакап с одного компа (~50Гигов), 10-ого – со всторого еще столько же, 20-ого – с третьего. В отсальное время, как я уже говорил, идет диф и инк. Так что все ОК.
Про организации речь не идет, ибо там уже надо ленточные библиотеки использовать.
А зачем бекапить весь хоме? Музыку и фильмы я не бекаплю вообще, просто потому, что в любой момент могу вытянуть их с инета. Бекапить нужно доки, конфиги, все то, что создается самим или что особо дорого тебе.
В итоге у каждого человека наберется не более 5 гигабайт информации.
Во первых если накроется винт на ноуте, то мне лично будет жаль не только конфиги, но и не просмотренные, но скаченные фильмы.
Во вторых если не делать бакап всего хома, то «выборка» чего бакапить, чего не бакапить превращается либо в ад (каждый раз это делать – ну его нафиг!), либо приводит к тому, что в очередной раз ты забыл добавить чего-то в список «что надо бакапить». И то и другое – очень плохо, накладно по времени, а к тому же поднимают такие вопросы в основном люди, которые ни когда не делют нормального бакапа и им соответственно такие вопросы не понятны.
Просто прикиньте сами: либо сохранять только 5 гиг и потом потратить в лучшем случае несколько дней на восстановление утерянных данних, либо иметь полный бакап и тратить время лишь на копирование данных из бакапа на винт. Я лично при любом раскладе предпочитаю последнее.
С ноутом ничего не могу сказать, а на стационарных машинках обычно ради такого дела организуют рейд… Просто зеркалируют все данные. Вот там точно не нужно геммороиться, что, куда и когда записывать.
Еще раз повторяю, Амазон используется не для подобных вещей. =)
Ну так и я говорю: это для целей «сохранить пару файлов», не более.
Не надо называть это бакапом. Это не бакап и не замена рейдам. На данный момент это больше баловство. 
К стати рейд ни в коем случае не является ни заменой бакапа, ни его аналогом!
Это разные вещи служащие разным целям.
Бэкап служит целям сохранности информации. Raid в некоторых своих реализациях тоже. А раз одна и та же цель, то можно их объединить.
Если вы бекапите такую большую массу информации и часто ее обновляете, это не значит, что те, кому это не нужно, не делают бэкапов. У меня к примеру давно уже все документы хранятся в dropbox, порядка 1.1 гигабайта. Все фотографии сохраняю в Яндекс.Фотках и на Пикасе, там еще порядка 3 гигабайт. Библиотека книг храниться на DVD, так как она очень редко обновляется.
А все остальное я могу восстановить, используя торрент… фильмы и музыка, все это есть в сети.
Итого порядка 4 гигабайт я дублирую в сети. Сомневаюсь, что это можно назвать «сохранить пару файлов».