$ sudo dd bs=4k if=/dev/sdX of=/dev/sdY conv=noerror,sync

Программа dd молчаливая, статистику показывает только в конце. Но если хочется наблюдать за процессом, то можно посылать процессу сигнал SIGUSR1.

Сначала нужно определить pid – интересует именно dd, а не “sudo dd”:

$ ps ax | grep dd
3428 pts/0    S+     0:00 sudo dd bs=4k if=/dev/sdc of=/dev/sdb conv=noerror,sync
3429 pts/0    R+     2:10 dd bs=4k if=/dev/sdc of=/dev/sdb conv=noerror,sync

Затем в другой сессии запустить:

$ sudo -s
# while true; do kill -USR1 3429; sleep 60; done

В сессии с выполняющейся dd раз в минуту будет выдаваться такая информация:

9729620+0 records in
9729620+0 records out
39852523520 bytes (40 GB) copied, 391.974 s, 102 MB/s

А для Mac вы можете воспользоваться одним из способов, приведённых в статье “Обзор методов клонирования загрузочного диска Mac OS X“.

Disk Utility пока не может работать с CoreStorage, поэтому приходится использовать командно-строковую утилиту diskutil.

Нахожу, какой раздел мне нужно перекодировать (Data):

$ diskutil list
/dev/disk2
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *500.1 GB   disk2
   1:                        EFI                         209.7 MB   disk2s1
   2:                  Apple_HFS Legacy                  50.0 GB    disk2s2
   3:                  Apple_HFS Data                    449.6 GB   disk2s3

Запускаю конвертирование, обязательно указываю ключевую фразу (данные не уничтожаются во время этой операции):

$ diskutil corestorage convert /dev/disk2s3 -stdinpassphrase
New passphrase for converted volume: **********
...
Finished CoreStorage operation on disk2s3 Data
Encryption in progress; use `diskutil coreStorage list` for status

С разделом можно работать сразу же, его шифрование производится в фоновом режиме. Процесс достаточно длительный. Я даже перевёл ноутбук в Sleep, не дождавшись окончания, но после просыпания шифрование продолжилось. Статус шифрования можно посмотреть командой (прогресс не виден, только статус Converting/Complete):

$ diskutil coreStorage list
...
        Logical Volume Family 3E0D6C21-4178-4597-9F79-91E13A02E6FA
        ----------------------------------------------------------
        Sequence:               6
        Encryption Status:      Unlocked
        Encryption Type:        AES-XTS
        Encryption Context:     Present
        Conversion Status:      Converting
        Has Encrypted Extents:  Yes
        Conversion Direction:   forward

Когда шифрование завершится, “Conversion Status:” станет “Complete”.

Сделал замеры производительности до и после шифрования, результаты приведены ниже.

Последовательное и случайное чтение/запись небольших файлов

Без шифрования

С шифрованием

Скорость операций случайного чтения/записи почти не изменилась. Последовательных – изменилось незначительно. Интересно приведение скорости записи после шифрованию к нормальному виду (на первом графике скорость записи выше скорости чтения). Возможно шифрование привело к дефрагментации диска.

Чтение/запись больших файлов размером от 1 до 10 MB

Без шифрования

С шифрованием

Скорость изменилась незначительно, на глаз до 4-7%. Всплеск скорости записи после шифрования вероятно вызвано эффектом кеширования, добавляемым подсистемой шифрования.

Чтение/запись больших файлов размером от 10 до 100 MB

Без шифрования

С шифрованием

Кривые чтения и записи стали отличаться, на мой взгляд из-за большей ресурсоёмкости шифрования записи. Скорость записи ухудшилась на 15%, чтения – на 5%.

Чтение/запись файла 200 MB

Без шифрования

С шифрованием

Скорость записи ухудшилась на 8%, чтения – на 2%.

Вывод

При включении шифрования AES-XTS на жёстком диске 5400 rpm в ноутбуке с процессором Core 2 Duo без поддержки команд AES-NI наблюдается ухудшение скорости записи до 15%, а скорости чтения – до 8%. Что вполне приемлемо как плата за безопасность данных.

После включения FileVault 2 на моём ноутбуке пришло время создания очередного клона диска с данными (пока незашифрованного) и я решил совместить приятное с полезным – сравнить время создания клона одного и того же раздела на одинаковые внешние USB-диски.

На первом диске я создал логический том CoreStorage с шифрованием AES-XTS, на втором – без шифрования. И сделал два клона оригинального незашифрованного раздела с данными на 350 GB.

Замечу, что тестирование не отражает реальное падение производительности на шифрование данных – скорость упирается в производительность USB-интерфейса. Но для конкретного случая оно достаточно интересно.

На раздел с шифрованием клонирование шло 3 часа и 26 минут с эффективной скоростью 26.12 MB/s:

На раздел без шифрования – 3 часа и 23 минуты с эффективной скоростью 26.41 MB/s:

Таким образом для дисков, подключаемых по USB, разница при включенном шифровании AES-XTS несущественна. Поэтому если вам не важна кроссплатформенность и вы не хотите, чтобы ваши данные попали в чужие руки, то шифрование дисков крайне рекомендую.

К сожалению, пока Disk Utility не поддерживает работу с томами CoreStorage, и зашифрованные разделы нужно создавать вручную.

Пока только при настройке диска для Time Machine я видел возможность включения шифрования:

Я хочу создать на новом диске два зашифрованных логических раздела.

Диск пуст:

$ diskutil list
/dev/disk4
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:                                                   *500.1 GB   disk4

Создаю Logical Volume Group. Синтаксис:

Usage:  diskutil coreStorage create lvgName
        MountPoint|DiskIdentifier|DeviceNode ...
Create a CoreStorage logical volume group from one more more disks.
The specified disks will become the initial set of PVs.
All existing data on the drive will be lost.
Ownership of the affected disk is required.
Example: diskutil coreStorage create MyLVG disk1

Команда:

$ diskutil corestorage create lvgCS disk4
Started CoreStorage operation
Unmounting disk4
Repartitioning disk4
Unmounting disk
Creating the partition map
Rediscovering disk4
Adding disk4s2 to Logical Volume Group
Creating Core Storage Logical Volume Group
Switching disk4s2 to Core Storage
Waiting for Logical Volume Group to appear
Discovered new Logical Volume Group "332FA822-E709-42BD-819F-38D846BBBFB2"
Core Storage LVG UUID: 332FA822-E709-42BD-819F-38D846BBBFB2
Finished CoreStorage operation

Создаю зашифрованный Logical Volume. Синтаксис:

Usage:  diskutil coreStorage createVolume lvgUUID type name size
        [-stdinpassphrase | -passphrase [passphrase]]
Add a new logical volume to a CoreStorage logical volume group.
Type is the file system to initialize on the new logical volume. Valid types
are Journaled HFS+ or Case-sensitive Journaled HFS+ or their aliases.
Size is the amount of space to allocate from the parent logical volume group.
Valid sizes are floating-point numbers with a suffix of B(ytes), S(512-byte-
blocks), K(ilobytes), M(egabytes), G(igabytes), T(erabytes), P(etabytes),
or (%) a percentage of the current size of the logical volume group.
Example: diskutil coreStorage createVolume
         11111111-2222-3333-4444-555555555555 jhfs+ myLV 10g

Команда создания первого раздела размером в 60% от родительского LVG (UUID LVG взял в результатах предыдущей команды):

$ diskutil corestorage createvolume 332FA822-E709-42BD-819F-38D846BBBFB2 \
	jhfs+ lvCS1 60% -stdinpassphrase
Passphrase for new volume: ***********
Started CoreStorage operation
Waiting for Logical Volume to appear
Formatting file system for Logical Volume
Initialized /dev/rdisk3 as a 279 GB HFS Plus volume with a 24576k journal
Mounting disk
Core Storage LV UUID: 11391E12-477A-44DA-AE48-F92B74C2512B
Core Storage disk: disk3
Finished CoreStorage operation

Команда создания второго раздела размером в 40%:

$ diskutil corestorage createvolume 332FA822-E709-42BD-819F-38D846BBBFB2 \
	jhfs+ lvCS2 40% -stdinpassphrase
Passphrase for new volume: ***********
Started CoreStorage operation
Waiting for Logical Volume to appear
Formatting file system for Logical Volume
Initialized /dev/rdisk5 as a 74 GB HFS Plus volume with a 8192k journal
Mounting disk
Core Storage LV UUID: B07706D0-8A64-4952-BB16-D5DEC2691687
Core Storage disk: disk5
Finished CoreStorage operation

Смотрю, что получилось:

$ diskutil corestorage list
+-- Logical Volume Group 332FA822-E709-42BD-819F-38D846BBBFB2
    =========================================================
    Name:         lvgCS
    Sequence:     3
    Free Space:   119907090432 B (119.9 GB)
    |
    +-< Physical Volume 0C7E6C96-6890-49ED-9B70-2D66789A34CE
    |   ----------------------------------------------------
    |   Index:    0
    |   Disk:     disk4s2
    |   Status:   Online
    |   Size:     499763888128 B (499.8 GB)
    |
    +-> Logical Volume Family 04AE431E-3C70-4F48-8F60-885ED7121980
    |   ----------------------------------------------------------
    |   Sequence:               2
    |   Encryption Status:      Unlocked
    |   Encryption Type:        AES-XTS
    |   Encryption Context:     Present
    |   Conversion Status:      NoConversion
    |   Has Encrypted Extents:  Yes
    |   Conversion Direction:   -none-
    |   |
    |   +-> Logical Volume 11391E12-477A-44DA-AE48-F92B74C2512B
    |       ---------------------------------------------------
    |       Disk:               disk3
    |       Status:             Online
    |       Sequence:           2
    |       Size (Total):       299767734272 B (299.8 GB)
    |       Size (Converted):   -none-
    |       Revertible:         No
    |       LV Name:            lvCS1
    |       Volume Name:        lvCS1
    |       Content Hint:       Apple_HFS
    |
    +-> Logical Volume Family 18E88D4F-FF92-4E31-AB2C-75F175DDAB63
        ----------------------------------------------------------
        Sequence:               2
        Encryption Status:      Unlocked
        Encryption Type:        AES-XTS
        Encryption Context:     Present
        Conversion Status:      NoConversion
        Has Encrypted Extents:  Yes
        Conversion Direction:   -none-
        |
        +-> Logical Volume B07706D0-8A64-4952-BB16-D5DEC2691687
            ---------------------------------------------------
            Disk:               disk5
            Status:             Online
            Sequence:           2
            Size (Total):       79938060288 B (79.9 GB)
            Size (Converted):   -none-
            Revertible:         No
            LV Name:            lvCS2
            Volume Name:        lvCS2
            Content Hint:       Apple_HFS

Размонтирую разделы через Finder, подключаю диск повторно. Разделы зашифрованы:

    +-> Logical Volume Family 04AE431E-3C70-4F48-8F60-885ED7121980
    |   ----------------------------------------------------------
    |   Sequence:               2
    |   Encryption Status:      Locked
    |   Encryption Type:        AES-XTS
    |   Encryption Context:     Present
    |   Conversion Status:      NoConversion
    |   Has Encrypted Extents:  Yes
    |   Conversion Direction:   -none-
    |   |
    |   +-> Logical Volume 11391E12-477A-44DA-AE48-F92B74C2512B
    |       ---------------------------------------------------
    |       Disk:               -none-
    |       Status:             Locked
    |       Sequence:           2
    |       Size (Total):       299767734272 B (299.8 GB)
    |       Size (Converted):   -none-
    |       Revertible:         No
    |       LV Name:            lvCS1
    |       Content Hint:       Apple_HFS

Можно разблокировать разделы командой “diskutil corestorage unlockvolume”, а можно ввести пароль в приглашении:

Для смены пароля нужно сначала размонтировать раздел, а потом выполнить команду:

Usage:  diskutil coreStorage changeVolumePassphrase|passwd lvUUID
        [-recoverykeychain file] | [-oldpassphrase old]
        [-newpassphrase new] | [-stdinpassphrase]
Change an encrypted logical volume's password. Beyond the CoreStorage UUID,
you will be prompted interactively for parameters that you do not specify.
Parameters must be given in the above order.
Example: diskutil coreStorage changeVolumePassphrase
         11111111-2222-3333-4444-555555555555

Процесс смены:

$ diskutil corestorage changeVolumePassphrase 11391E12-477A-44DA-AE48-F92B74C2512B
Old passphrase:
New passphrase:
Repeat new passphrase:
Started CoreStorage operation
Logical Volume passphrase has been changed
Core Storage LV UUID: 11391E12-477A-44DA-AE48-F92B74C2512B
Finished CoreStorage operation

У команды diskutil есть и скрытые команды из группы corestorage, их можно посмотреть в статье “Undocumented CoreStorage Commands“.

Я, как и у многие люди, связанные с системным администрированием, немного параноик. Я считаю, что мои данные хотят украсть. Пусть они реально никому, кроме меня (“и множества злоумышленников, которые спят и видят, как получить мои фотографии, подборку музыки и фильмов, и…”, – это слова моего внутреннего параноика) и не нужны, но защититься не помешает.

Что произойдёт, если ноутбук украдут?

Самый простой случай – вор сразу же переформатирует диск и поставит чистую версию операционной системы. Останется купить новый ноутбук, восстановиться из Time Machine и спокойно продолжить работу. Этот сценарий характерен для умного вора, который знает о функции “Find My Mac” и о системе Pray.

Но есть другой случай – вор или глуп, или любопытен. Если глуп, то начнёт пользоваться ноутбуком, не трогая систему. Недавняя история поимки такого вора описана в статье “Why you don’t steal from a hacker“. Всё закончилось плачевно для вора и отлично для владельца ноутбука.

Если вор любопытен и умён, то сразу же отключит сетевые интерфейсы, чтобы даже случайно система не вышла в Интернет, и начнёт изучать, чем бы можно поживиться.

Начнёт изучать документы, ключи доступа, попробует добраться до Keychain, посмотрит историю команд в shell и возможно наткнётся на пароль (в моей практике был случай, когда очень быстрый коллега в сессии излишне любопытного пользователя вбивал пароль администратора, но вбил не в поле запроса пароля, а просто в shell, и пароль администратора попал в .history). Пароль в клиническом случае может быть единым для системы и для базы 1Password. Можно дальше не продолжать. А дальше – или проникновение, или шантаж.

Надеюсь, вы не думаете, что запрос пароля при входе в систему кого-то остановит? Firmware Password (по крайней мере раньше) сбрасывался фокусом с вынимаем одной из нескольких планок памяти, а затем очисткой PRAM. Потом – single user mode, пара команд, и пароль изменён. Если же не хочется возиться с Firmware Password, то диск вынимается из ноутбука, подключается к другому компьютеру и доступ ко всем данным получен.

Для защиты от описанной ситуаций был реализован FileVault. В первой версии пользовательский домашний каталог помещался в зашифрованный контейнер (sparse bundle image), ключом к которому служил пользовательский пароль. Не зная пароля, контейнер невозможно было открыть. Не нужно исключать возможность угадывания пароля, но если пароль был сложным, то данные были в полной безопасности.

За безопасность нужно платить. Для того, чтобы сделать резервную копию данных в Time Machine, нужно было выйти из учётной записи. Сделать выборочное восстановление через интерфейс Time Machine было нельзя. Включение шифрования ухудшало производительность файловых операций порой на 50%. Были и другие мелкие сложности.

В OS X Lion вошла улучшенная версия – FileVault 2, система шифрования полного диска, использующая алгоритм XTS-AES 128.

В процессе изучения вопроса я обращался к статьям MacFixIt “About FileVault 2 in OS X 10.7 Lion” и ArsTechnica “File system changes in Lion“.

Желающие разобраться с математическими моделями могут прочитать документ “IEEE P1619TM/D16 Standard for Cryptographic Protection of Data on Block-Oriented Storage Devices” и “Не такой уж ты и страшный, XTS-AES“.

Незашифрованными остаются раздел с EFI (интересующихся процессом обычной загрузки отсылаю к статье “Процесс загрузки Apple Mac Intel“) и Recovery HD:

$ diskutil list
/dev/disk0
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *160.0 GB   disk0
   1:                        EFI                         209.7 MB   disk0s1
   2:          Apple_CoreStorage                         159.2 GB   disk0s2
   3:                 Apple_Boot Recovery HD             650.0 MB   disk0s3

1. После инициализации “железа” EFI находит Recovery HD и передаёт управление загрузчику /System/Library/CoreServices/boot.efi, находящемуся на этом разделе.
2. У загрузчика есть два варианта – запустить EfiLoginUI из com.apple.boot.x и показать стартовый экран с запросом пароля входа, или же, если была нажата комбинация Option-R – оболочку восстановления системы из com.apple.recovery.boot.
3. Ключи для расшифровки диска хранится в файле EncryptedRoot.plist.wipekey в каталоге /com.apple.boot.x/System/Library/Caches/com.apple.corestorage. Пользовательский пароль расшифровывает ключи к диску, находящийся в этом файле. Дальше они хранится в памяти, расшифровка содержимого диска производится “на лету”. Каждый раз при изменении пользовательского пароля, добавлении нового пользователя и подобных операциях EncryptedRoot.plist.wipekey перегенерируется.

FileVault работает и для пользователей, входящих через OpenDirectory – их аттрибуты доступа кешируются на случай отсутствия соединения с сервером каталогов.

Производительность дисковых операций при включенном FileVault 2 согласно тестам Anandtech ухудшается не более, чем на 20-30%, что вполне приемлемо. Однако стоит учитывать, что есть зависимость от процессора и диска. Новые процессоры Intel используют наборы инструкций AES-NI для ускорения работы с AES Intel® Advanced Encryption Standard Instructions (AES-NI) и с шифрованием диска справляются лучше, чем старые процессоры Core 2 Duo. Решение каждый принимает сам на основании собственного железа.

При краже Mac’а получить доступ к данным будет практически невозможно (при условии сложного пароля и неочевидных ответов на вопросы восстановления ключа в Apple). Придётся просто купить новый Mac и особо не беспокоиться о компрометации паролей и использовании данных.

Time Machine работает теперь без необходимости выхода из учётной записи. Теперь нужно беречь данные Time Machine, а лучше размещать их в зашифрованном разделе (как это сделать, описано в статье Mac OS X Lion FileVault 2 and Time Machine External Drive Encryption).

Из “особенностей” нужно помнить, что при загрузке с зажатым Option раздел “Recovery HD” будет недоступен, для загрузки с него нужно удерживать комбинацию клавиш Command-R.

Активация

Активация FileVault 2 проста. System Preferences/Security & Privacy/FileVault, Click the lock to make changes, Turn On FileVault. Обязательно нужно в надёжном и обязательно зашифрованном месте сохранить ключ и ответы на вопросы восстановления ключа (если выбрали его сохранение в Apple). Система предложит перезагрузиться. Сразу же при загрузке будет запрошен ваш пароль и после входа вы сразу же сможете работать. Ждать часами завершения шифрования раздела не нужно, эта операция производится в фоновом режиме пока вы полноценно работаете:

С запуском iCloud появится возможность “Find My Mac”, в которой по аналогии с “Find My iPhone/iPad” при появлении Mac в сети можно отобразить сообщение с воспроизведением звукового сигнала, заблокировать Mac или даже уничтожить содержимое зашифрованного диска (могу предположить, что удаляются ключи шифрования и диск становится бесполезным массивом данных):

При получении команды блокировки (как только Mac станет доступен через Интернет) компьютер перезагружается, после чего запрашивается 6-ти значный код (вспомнился [троян Trojan.Win32.Buzus.hjzy](http://av-school.ru/desc/a-2117.html), который портит MBR и требует денег за код разблокировки):

Удобно, не так ли?

Если же вы организованы и не хотите терять производительность в угоду безопасности, то достаточно создать зашифрованный sparse bundle image и хранить секретные данные там. Я описывал процесс в статье “Работа с зашифрованными образами с помощью Knox (за деньги) и без него (бесплатно)“.

Всё бы хорошо, но вот одна незадача. Ноутбук у меня не всегда стоит в офисе, периодически я ношу его домой. И вот уже раз пять замечал, что дома CPU неадекватно загружен (105%) без каких-то объективных причин. Это приводит к постоянной работе вентилятора. Выгружал все программы – результат тот же. В Activity Monitor видно, что создаёт всё загрузку kernel_task.

До источника проблемы я не докапывался, но велика вероятность того, что виноват именно globalSAN iSCSI initiator. Соединение с iSCSI исчезает (пробовал как “внезапное” отключение, так и предварительное отмонтирование тома iSCSI), ядро через модуль iSCSI пытается регулярно его восстановить, это не удаётся. Повтор. В итоге – паразитная нагрузка.

Хочу процитировать показательные комментарии MMC по поводу iSCSI:

Инициатор GlobalSAN заработал, но раздел, смонтированный по iSCSI, 2 раза отваливался на ходу. Судя по логам имело место переполнение буфера. Во 2й раз при отвале попортился заголовок раздела, и он перестал монтироваться.

Последующее чтение документов и выявило, что Apple избегает рекомендовать iSCSI, а рекомендует FC для подобных подключений, также оказалось, что в природе нет хардварных iSCSI-инициаторов, официально поддерживаемых Apple, и отдельные крупные производители (EMC) в своих документах прямым текстом не рекомендуют использовать iSCSI в связке с Mac OS, а при использовании отказываются что-либо гарантировать.

По моим наблюдениям, iSCSI-раздел отваливается, когда к нему идет очень много обращений (в моем случае более 500 активных сетевых сессий, это были /Users, 300 сетевых хомедиров).

Так что на iSCSI, как на основной способ подключения ориентироваться не стоит. Может другие драйвера работают лучше, но платить ради теста 195$ за Xtend SAN iSCSI Initiator я не хочу.

Поэтому я выбираю комбинацию Time Machine (для бекапов и восстановления на случай сбоя) и AFP (для хранения данных). А потом как-нибудь будет обновление Mac’а, дисковый массив на Thunderbolt и т.д.

Установка FreeNAS проста. Я его установил на флешку, с которой и производится загрузка, а внутренний диск использовал как хранилище (разбить диск на части и на него поставить и систему, и хранилище, по всей видимости нельзя). Ноутбук и NAS подключены в гигабитную сеть.

Настройка тоже почти очевидна, если понимаешь, что делать. Будет интересно – напишу, как настроить iSCSI.

Буду сравнивать производительность AFP и iSCSI. Стандартный тест (AFP):

Стандартный тест (iSCSI):

Тест с большими файлами (AFP):

Тест с большими файлами (iSCSI):

Расширенный тест (AFP):

Расширенный тест (iSCSI):

Выводы неутешительны – во всех тестах AFP лучше iSCSI, причём порой в два раза. Вчера я сравнивал скорость обмена по iSCSI с копированием файлов через scp – и именно это натолкнуло меня на мысль сделать проверку, так по scp скорость также была больше почти в два раза.

Возможно причина такого странного поведения в драйверах iSCSI под Mac OS X, я отдельно проверю связку Unix-Unix.

С гигабитным подключением всё понятно, но какова скорость при подключении ноутбука по WiFi (802.11n, конечно, Time Capsule)?

Тест iSCSI по WiFi:

Тест iSCSI по 1 Gbps:

Получил различие в два раза.

Вывод: если у вас “бытовая” конфигурация (дорогие решения я не могу попробовать), то лучше использовать AFP, причём по проводному гигабитному подключению.

Для настройки со стороны Ubuntu я воспользовался инструкцией “Using iSCSI On Ubuntu 10.04 (Initiator And Target)“.

Итак, есть компьютер с Ubuntu 11.04. В него я вставил диск SATA 500 GB. Данные с него мне не нужны, поэтому считаю, что он чистый (не пытайтесь повторить это на диске с нужными данными, они в процессе будут уничтожены). Ubuntu и Macbook Pro подключены в одну сеть гигабитными портами.

Настройка iSCSI Target на Ubuntu 11.04

В терминологии iSCSI Target – это сервер, а Initiator – клиент. На Ubuntu буду настраивать Target.

Идентифицирую диск, который я вставил (также можно посмотреть в GParted):

$ sudo lshw -C disk
*-disk:2
     description: ATA Disk
     product: WDC WD5000KS-00M
     vendor: Western Digital
     physical id: 0.0.0
     bus info: scsi@6:0.0.0
     logical name: /dev/sdc
     version: 07.0
     serial: WD-WMANU1192001
     size: 465GiB (500GB)
     capabilities: gpt-1.00 partitioned partitioned:gpt
     configuration: ansiversion=5 guid=a02ee5be-dd7a-4ec8-a4e7-60b4f1e530a4

Logical name – /dev/sdc.

Для iSCSI можно использовать образ в виде файла в существующей файловой системе, но меня больше интересует LVM, так как доступ будет быстрее. Ставлю утилиты:

$ sudo aptitude install lvm2

Сканирую доступные Volume Groups на физических дисках, их у меня нет:

$ sudo vgscan
  Reading all physical volumes.  This may take a while...
  No volume groups found

Рекомендуется сделать доступными ранее сконфигурированные volume groups:

$ sudo vgchange -a y

Создаю раздел на весь диск для LVM, предварительно удалив другие разделы на диске. Внимание – это опасно, ваши данные будут уничтожены, думайте, перед тем, как это сделать. Запускаю fdisk на мой свежеустановленный диск /dev/sdc (повторяю – двойное внимание).

Список существующих разделов:

$ sudo fdisk /dev/sdc
Command (m for help): p

Disk /dev/sdc: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1       60802   488386583+  ee  GPT

Не обращаю внимание на надпись

WARNING: GPT (GUID Partition Table) detected on '/dev/sdc'! The util fdisk doesn't support GPT. Use GNU Parted.

У меня был раздел GPT, он мне не нужен, удаляю его (тройное внимание):

Command (m for help): d1
Selected partition 1

Создаю primary partition на весь размер диска:

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-60801, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-60801, default 60801):
Using default value 60801

Command (m for help): p
   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1       60801   488384001   83  Linux

Записываю таблицу разделов

Command (m for help): w
The partition table has been altered!

Появилось устройство /dev/sdc1:

$ ls -al /dev/sdc*
brw-rw---- 1 root disk 8, 32 2011-06-09 12:53 /dev/sdc
brw-rw---- 1 root disk 8, 33 2011-06-09 12:53 /dev/sdc1

Создаю LVM Physical volume на первом разделе

$ sudo pvcreate /dev/sdc1
Physical volume "/dev/sdc1" successfully created

Создаю Volume Group vg0:

$ sudo vgcreate vg0 /dev/sdc1
  Volume group "vg0" successfully created

Смотрю, сколько места доступно:

$ sudo pvscan
  PV /dev/sdc1   VG vg0   lvm2 [465.76 GiB / 465.76 GiB free]
  Total: 1 [465.76 GiB] / in use: 1 [465.76 GiB] / in no VG: 0 [0   ]

Создаю Logical Volume:

$ sudo lvcreate -L465G -n storage_lun1 vg0
The link /dev/vg0/storage_lun1 should had been created by udev but it was not found. Falling back to direct link creation.
Logical volume "storage_lun1" created

С LVM закончено. Если бы понадобилось создать раздел 20 GB для iSCSI в виде файла, то:

$ mkdir /storage
$ dd if=/dev/zero of=/storage/lun1.img bs=1024k count=20000

Ставлю пакет для iSCSI Target:

$ sudo aptitude install iscsitarget

Разрешаю запуск:

$ sudo vim /etc/default/iscsitarget
ISCSITARGET_ENABLE=true

Конфигурирую без всяческого тюнинга. Обратите внимание – в статье на howtoforge говорится о конфигурационных файлах /etc/ietd.conf и /etc/initiators.allow, но они реально находятся в /etc/iet.

$ sudo vim /etc/iet/ietd.conf
Target iqn.2011-06.me.ctrld.udev:storage.lun1
        IncomingUser username password
        OutgoingUser
		Lun 0 Path=/dev/vg0/storage_lun1,Type=fileio
        Alias LUN1

Конечно же, Target name и IncomingUser нужно поменять. Формат Target name такой: qn.yyyy-mm.[:identifier], я брал домен udev.ctrld.me, а номер – по месяцу и году.

Для файла-образа было бы так:

	Lun 0 Path=/storage/lun1.img,Type=fileio

Конфигурирую доступ от Initiator’а к Target’у, для простоты разрешаю доступ из всей моей подсети 192.168.98.0/24

$ sudo vim /etc/iet/initiators.allow
ALL 192.168.98.0/24

Стартую Target:

$ sudo service iscsitarget start

Проверка работы iSCSI Target на Ubuntu, установка iSCSI Initiator

Чтобы на OS X не задумываться, работает ли iSCSI или нет, проверяю сначала его работу на Ubuntu. Более подробно – на howtoforge.

$ sudo aptitude install open-iscsi
$ sudo vi /etc/iscsi/iscsid.conf
node.startup = automatic

Рестартую open-iscsi (он стартовал при установке)

$ sudo service open-iscsi restart

И рестартую Target:

$ sudo service iscsitarget restart

Смотрю, доступен ли Target на 192.168.98.8. Не забывайте, что доступ должен быть разрешён в /etc/iet/initiators.allow и target должен быть описан в /etc/iet/ietd.conf. С самого начала у меня ничего не получилось, так как я правил файлы в /etc, а нужно было использовать в /etc/iet.

$ sudo iscsiadm -m discovery -t st -p 192.168.98.8
192.168.98.8:3260,1 iqn.2011-06.me.ctrld.udev:storage.lun1

Всё правильно.

$ sudo iscsiadm -m node
192.168.98.8:3260,1 iqn.2011-06.me.ctrld.udev:storage.lun1

Вручную произвожу аутентификацию (указываю username и password, сконфигурированные для lun):

$ sudo iscsiadm -m node --targetname "iqn.2011-06.me.ctrld.udev:storage.lun1" --portal "192.168.98.8:3260" --op=update --name node.session.auth.authmethod --value=CHAP
$ sudo iscsiadm -m node --targetname "iqn.2011-06.me.ctrld.udev:storage.lun1" --portal "192.168.98.8:3260" --op=update --name node.session.auth.username --value=username
$ sudo iscsiadm -m node --targetname "iqn.2011-06.me.ctrld.udev:storage.lun1" --portal "192.168.98.8:3260" --op=update --name node.session.auth.password --value=password

Делаю login:

$ sudo iscsiadm -m node --targetname "iqn.2011-06.me.ctrld.udev:storage.lun1" --portal "192.168.98.8:3260" --login

Если получили ошибку, то перепроверьте параметры, может пароль указан неправильно

Logging in to [iface: default, target: iqn.2011-06.me.ctrld.udev:storage.lun1, portal: 192.168.98.8,3260]
iscsiadm: Could not login to [iface: default, target: iqn.2011-06.me.ctrld.udev:storage.lun1, portal: 192.168.98.8,3260]:
iscsiadm: initiator reported error (19 - encountered non-retryable iSCSI login failure)

А вот что выдаётся в случае успешного подключения:

Logging in to [iface: default, target: iqn.2011-06.me.ctrld.udev:storage.lun1, portal: 192.168.98.8,3260]
Login to [iface: default, target: iqn.2011-06.me.ctrld.udev:storage.lun1, portal: 192.168.98.8,3260]: successful

В dmesg можно посмотреть, какое устройство используется:

[11084.522649] scsi12 : iSCSI Initiator over TCP/IP
[11085.529288] scsi 12:0:0:0: Direct-Access     IET      VIRTUAL-DISK     0    PQ: 0 ANSI: 4
[11085.529600] sd 12:0:0:0: Attached scsi generic sg8 type 0
[11085.529928] sd 12:0:0:0: [sdh] 975175680 512-byte logical blocks: (499 GB/465 GiB)
[11085.530118] sd 12:0:0:0: [sdh] Write Protect is off
[11085.530122] sd 12:0:0:0: [sdh] Mode Sense: 77 00 00 08
[11085.530368] sd 12:0:0:0: [sdh] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
[11085.533666]  sdh: unknown partition table
[11085.533992] sd 12:0:0:0: [sdh] Attached SCSI disk

В моём случае это /dev/sdh. Ничего на Ubuntu делать больше не буду (а так можно было бы в fdisk создать разделы и подмонтировать их), перехожу к OS X, отлогиниваюсь:

$ sudo iscsiadm -m node --targetname "iqn.2011-06.me.ctrld.udev:storage.lun1" --portal "192.168.98.8:3260" --logout

Настройка iSCSI Initiator на Mac OS X 10.6

Штатно iSCSI в Mac OS X 10.6 не поддерживается, нужно ставить сторонние драйвера. Я использовал бесплатный globalSAN iSCSI initiator, нужно указать свои контактные данные и ссылка на софт придёт по email. Придётся перезагрузиться (sic!):

После установки появляется Preference Pane в System Preferences:

Unlock, жму “+”. Можно выбрать Target и указать все данные, но я для пробы выбрал Portal. После ввода сервера показываются все сконфигурированные там устройства:

Для простоты прописываю Alias, Error Detection ставлю “Header only”, iSCSI Options не меняю

Ввожу параметры аутентификации:

Выбираю соединение и жму Connect. Если всё в порядке, то индикаторы загорятся зелёным (Connected):

и появится сообщение, говорящее, что на подключённом диске нет таблицы разделов:

Запускается Disk Utility, наш iSCSI диск – “IET Virtual Disk”. Закладка Partition, выбираю нужное количество разделов, имя, применяю:

Всё, диск готов и доступен к использованию:

Скорость записи по гигибитному подключению – 300 Mbps

Чтение – 360 Mbps:

Есть пока непонятные провалы, но трафик даже в их пределах есть. Буду смотреть, как ведёт себя эта конфигурация.

Также прочитайте мои впечатления об OptiBay «по горячим следам» — я не буду их пересказывать.

Вместе с OptiBay поставляется инструкция в pdf на CD, я же пару месяцев назад смотрел видео Installation of the OptiBay в Typical Mac User Podcast.

Итак, OptiBay пришёл:

Содержимое:

В комплекте есть отвёртка. Она слегка не подходит по размеру и в ней нет магнитного эффекта, поэтому лучше используйте нормальный инструмент. В моём случае я переставляю SSD из отсека для жёсткого диска в слот OptiBay, и мне дополнительно нужна отвёртка Torx.

Вот так выглядит отсек OptiBay:

Приступаю к разборке:

Пока использую отвёртку OptiBay:

Не забываю аккуратно складывать болтики в порядке выкручивания.

Шлейф прикреплён к приводу DVD клеем, аккуратно отделяю его:

Три винта откручено, отсоединил разъём, привод демонтирован:

На зеркальной поверхности остаются следы пальцев, их можно потом оттереть. Демонтировал SSD-диск:

Зачем я это сделал? Потому что в статье «Making the leap to SSD on a MacBook» была приведена разумная мысль, что датчик падения находится в отсеке жёсткого диска, и HDD нужно держать именно там. Мне кажется, что этот вопрос слегка надуман, при падении датчик сработает в любом случае, ноутбук-то не бинарное разделямое устройство, разделяющееся на слоты. Но почему бы не сделать согласно рекомендации?

HDD у меня был в USB-кармане и таскать его вместе со шнурком мне не особо нравилось, вынимаю его:

Переставляю штифты, крепящие диск в отсеке HDD:

Монтирую HDD:

Вставляю SSD в отсек OptiBay:

С обратной стороны прикручиваю SSD двумя болтиками:

Переставляю разъём с привода DVD в OptiBay:

Не забываю переставить крепление под третий винт с привода DVD в OptiBay, иначе отсек будет болтаться:

Два диска смонтированы, всё готово к закрытию ноутбука:

Закрутил все винты, включил ноутбук, убедился через System Profiler, что два диска видны:

А теперь самое «отстойное» — корпус для привода DVD хуже некуда. Хотя… Хуже быть вполне может, но в комплекте за $100 такой хлам недопустим. На установку OptiBay, замену дисков, сборку ноутбука я потратил минут 30 учитывая фотографирование процесса. И минут 30 на попытки вставить привод в поставляемый корпус и завинчивание.

Порадовало меня подключение привода двумя кабелями USB (второй — для питания). Читать будет и с одним кабелем, но не уверен насчёт записи. И выглядит это чудо очень «впечатляюще»:

Кроме того пластиковый корпус поджимает привод и оптический диск трётся с незабываемым звуком. Выход я нашёл — передние защёлки специально открыл:

О времени автономной работы я уже написал.

Выводы — OptiBay штука хорошая, но не надейтесь, что оптический привод будет удобным, и осознавайте, что установка второго диска уменьшит время автономной работы процентов на 15-25.

22.11.10 13:13:13	kernel	AppleRAID::recover() member 46351C9C-8F55-474F-8FA9-0E72FEB27F10 from set "Flash RAID Set" (23E9F3B6-A492-4318-A058-7437C63BFF1D) has been marked offline.
22.11.10 13:13:13	kernel	AppleRAID::restartSet - restarting set "Flash RAID Set" (23E9F3B6-A492-4318-A058-7437C63BFF1D).

Грустно, но ведь бекапы у вас, конечно же, есть. Если нет, а RAID был 0-го уровня (страйпинг, когда данные разбиваются на части и пишутся без резервирования на разные диски), то срочно нужно брать внешний диск и списывать всё, что удастся списать. Есть шансы, что большая часть данных (в худшем случае все) будет потеряна.

Рекомендую перечитать мои статьи “О пользе offsite-бекапов” и “Клонирование диска как часть стратегии резервного копирования (SuperDuper!)“.

Ещё соображение. Никогда не ставьте RAID0, если не осознаёте, что делаете. Это вполне допустимо для очень быстрого промежуточного хранилища, но сохранять важные данные категорически недопустимо. Лучше RAID5 – можно пережить выход из строя одного диска. Но скорость записи не очень. Если нужна большая скорость и большая надёжность, то идеален RAID10 (зеркалирование + страйпинг), но нужно в два раза больше дисков. А если дисков мало, и нужна надёжность, то – RAID1 (зеркалирование).

Вопрос в том, как определить, какой именно диск вышел из строя для его замены (вопрос восстановления RAID после сбоя я не рассматриваю, программные RAID я не восстанваливал, но хочу провести такие эксперименты).

В логе говорится, что “member 46351C9C-8F55-474F-8FA9-0E72FEB27F10 … has been marked offline”. Этот идентификатор является UUID диска.

Я хочу показать где можно найти данные по диску. Не факт, что при вышедшем из строя диске хоть что-то удастся посмотреть, но попытаться стоит. А лучше сохранить нужную информацию заранее, сразу же после создания RAID.

Для теста я создал RAID1 из двух USB-флеш.

Начинаем поиск с mount и diskutil. В mount увидим, какое устройство смонтировано как RAID Set.

$ mount
/dev/disk4 on /Volumes/Flash RAID Set (hfs, local, nodev, nosuid, journaled, noowners)

А в diskutil выясним, какие разделы задействованы:

$ diskutil list
/dev/disk2
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *2.1 GB     disk2
   1:                 Apple_RAID                         2.0 GB     disk2s1
   2:                 Apple_Boot Boot OSX                134.2 MB   disk2s2
/dev/disk3
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme NO NAME                *2.1 GB     disk3
   1:                 Apple_RAID                         1.9 GB     disk3s1
   2:                 Apple_Boot Boot OSX                134.2 MB   disk3s2
/dev/disk4
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:                  Apple_HFS Flash RAID Set         *1.9 GB     disk4

Смотрим информацию по RAID Set (disk4):

$ diskutil info /dev/disk4
   Device Identifier:        disk4
   Device Node:              /dev/disk4
   Part Of Whole:            disk4
   Device / Media Name:      Flash RAID Set

   Mount Point:              /Volumes/Flash RAID Set
   Escaped with Unicode:     /Volumes/Flash%FF%FE%20%00RAID%FF%FE%20%00Set

   File System:              Journaled HFS+
   Type:                     hfs
   Name:                     Mac OS Extended (Journaled)

   Partition Type:           Apple_HFS
   Media Type:               Generic
   Volume UUID:              ECCE6D2D-F7A5-353D-81E7-5A896449A1E8

   This disk is a RAID Set.  RAID Set Information:
      Set Name:          Flash RAID Set
      RAID Set UUID:     23E9F3B6-A492-4318-A058-7437C63BFF1D
      Level Type:        Mirror
      Status:            Online
      Chunk Count:       58878

Поле “RAID Set UUID” – это тот UUID, который виден в сообщении “restarting set ‘Flash RAID Set’ (23E9F3B6-A492-4318-A058-7437C63BFF1D)”.

Смотрим информацию по разделам, из которых состоит RAID Set (в нашем случае – RAID Slice’ы, так как используется RAID1):

$ diskutil info /dev/disk2s1
   Device Identifier:        disk2s1
   Device Node:              /dev/disk2s1
   Part Of Whole:            disk2
   Device / Media Name:      Raid Partition 3

   Partition Type:           Apple_RAID

   This disk is a RAID Slice.  RAID Slice Information:
      Parent Set Name:          Flash RAID Set
      Parent RAID Set UUID:     23E9F3B6-A492-4318-A058-7437C63BFF1D
      RAID Slice UUID:          46351C9C-8F55-474F-8FA9-0E72FEB27F10
      Level Type:               Mirror
      Status:                   Online
      Slice:                    1/2
      Sequence:                 1
      Chunk Count:              58878

$ diskutil info /dev/disk3s1
   Device Identifier:        disk3s1
   Device Node:              /dev/disk3s1
   Part Of Whole:            disk3
   Device / Media Name:      Raid Partition 4

   Partition Type:           Apple_RAID

   This disk is a RAID Slice.  RAID Slice Information:
      Parent Set Name:          Flash RAID Set
      Parent RAID Set UUID:     23E9F3B6-A492-4318-A058-7437C63BFF1D
      RAID Slice UUID:          C6283D59-7DC9-420D-8139-695204CBEA51
      Level Type:               Mirror
      Status:                   Online
      Slice:                    2/2
      Sequence:                 1
      Chunk Count:              58878

Здесь можно чётко отнести RAID Slice к конкретному RAID Set (на случай, если Set’ов много) и получить UUID Slice’а. “Member 46351C9C-8F55-474F-8FA9-0E72FEB27F10″ относится к /dev/disk2, именно его я отключил в горячем режиме.

Диски определены, можно их менять. Как идентифицировать конкретный физический диск – ещё отдельный вопрос. Один из вариантов – открыть Profiler и там посмотреть модель и/или серийный номер, а дальше идентифицировать физически.