хранилища

• SAN - Storage Area Network
• NAS - Network Attached Storage
• DAS - Direct Attached Storage

хранилища

• SAN - FC, FCoE, iSCSI, AoE, ...
• NAS - NFS, SMB/CIFS, AFP, ...
• DAS - SAS/SATA, IDE, USB, ...

NAS и SAN

• SAN - low latency, простые протоколы, дорогое и сложное FC-железо
• NAS - high latency, сложные протоколы, работает по сети

NAS и SAN: latency

• SAN low latency теряется на логике FS
• NAS high latency сглаживается кэшированием с обеих сторон

NAS и SAN: throughput

• NFS отстаёт от FCP на 10-15%¹
• NFS быстрее iSCSI на 5-10%¹
• ¹⁾отчёт NetApp tr-3581

NAS и SAN: reach

• FC обычно в пределах ЦОД, редко до 100 км
• NFS, SMB и iSCSI работают по IP, но не любят большие RTT
• NFSv4 подходит для любых RTT

NAS и SAN: clustered storage

• SAN: Oracle Exadata, … - сыровато, фокус на надёжности
• NAS: Lustre, NetApp GX, Isilon, Panasas - проверено, фокус на скорости

NAS и SAN: будущее

• тесно интегрированные решения
• pNFS = NAS + SAN

NAS

• NFS - Unix
• SMB/CIFS - Windows
• AFP - Apple
• Lustre, GPFS, … - Linux, proprietary

NFS

• поддерживается всеми Unix
• отлично работает на всех Mac OS X
• работает даже на экзотике типа z/OS
• сносно работает под Windows, есть хорошее коммерческое ПО
• обрастает возможностями Lustre и GPFS

NFS: история

• v1 - 1984 (Sun)
• v2 - 1989 (Sun)
• v3 - 1995 (Sun)
• v4 - 2000, 2003 (IETF)
• v4.1 - 2010 (IETF)

NFS: цели

• лёгкость восстановления
• независимость от транспорта, ОС и файловых систем
• простота
• хорошая скорость

NFS: basics

• работает по TCP и UDP
• на основе протоколов ONC RPC и XDR
• аутентификация и шифрование через GSS (Kerberos)
• авторизация через политики exports, ACL
• advisory locking (в v4 - mandatory)

NFSv4: цели

• лучшая доступность и скорость over Internet
• обязательная безопасность, negotiation
• настоящая кросс-платформенность
• лёгкость расширений

NFSv4: результаты

• перешёл из Sun в IETF
• RPCSEC_GSS, Kerberos security schemes
• stateful-архитектура
• compound RPC
• сделан глядя на CIFS и AFS

NFSv4: безопасность

• RPCSEC_GSS (RFC2203)
• authentication, integrity, privacy
• Kerberos V5 (RFC1964)
• LIPKEY (RFC2874)
• in-band negotiation

NFSv4: COMPOUND RPC

• чтение файла с нового сервера одним запросом
• эффективность HTTP
• кэширование двух filehandles в "регистрах"

NFSv4: файловая модель

• только UTF-8
• монтирования нет, сервер отдаёт один ROOT FH
• все экспортируемые фс склеиваются в одну иерархию
• гибкие, расширяемые атрибуты, включая ACL и locations
• именованные owner, group

NFSv4: репликация и миграция

• атрибут locations может сообщать клиенту о других серверах
• клиент мигрирует при отключении текущего сервера
• клиент может балансировать нагрузку между репликами

NFSv4: locking

• встроенный byte-range locking
• lease-модель обеспечивает быстрое восстановление
• вечно подвисших locks больше нет

NFSv4: caching, delegation

• кэширование директорий и атрибутов определяется клиентом
• кэши данных валидируются при открытии
• делегирование - разрешение на локальную обработку запросов
• позволяет работать с активными NFS-файлами на локальном диске
• первый шаг к настоящей распределённости

NFSv4: поддержка

• Solaris - самая полная поддержка
• Linux - широкая поддержка, есть баги
• FreeBSD - поддержка сыровата, есть баги
• NetApp - широкая поддержка, есть ограничения
• Isilon, Panasas, AIX, z/OS - есть поддержка в разном состоянии

NFSv4.1: цели

• RFC5661 - самый длинный RFC-документ в истории
• исправление структурных недостатков NFS
• дополнение v4 на основе опыта промышленного использования
• поддержка кластеров и параллельного доступа (pNFS)

NFSv4.1: multi-server

• атрибут locations в роли referrals
• первый шаг к FedFS

pNFS

+-----------+
|+-----------+                                 +-----------+
||+-----------+                                |           |
|||           |        NFSv4.1 + pNFS          |           |
+||  Clients  |<------------------------------>|   Server  |
 +|           |                                |           |
  +-----------+                                |           |
       |||                                     +-----------+
       |||                                           |
       |||                                           |
       ||| Storage        +-----------+              |
       ||| Protocol       |+-----------+             |
       ||+----------------||+-----------+  Control   |
       |+-----------------|||           |    Protocol|
       +------------------+||  Storage  |------------+
                           +|  Devices  |
                            +-----------+
    

pNFS

• EMC, IBM, LSI, NetApp, Panasas, Google, Sun, …
• промышленный опыт: NetApp, Panasas, Isilon, …
• в открытой разработке с 2003 года, релиз в январе 2010
• NFSv4.1, block pNFS (RFC5663), object pNFS (RFC5664)

pNFS: I/O

• уровни: файлы, объекты или блоки
• сервера делятся на metadata servers и storage devices
• клиент производит I/O напрямую
• клиент отдаёт серверу новый layout
• клиент может всегда выбрать обычный NFSv4.1 I/O

pNFS: metadata servers

• даёт клиенту layout и доступ к storage
• клиент производит I/O напрямую
• клиент отдаёт серверу новый layout
• клиент может всегда выбрать обычный v4.1 I/O

pNFS: storage servers

• file - другой NFSv4.1 сервер
• block - блочное хранилище (SAN)
• object - объектное хранилище (OSD)
• что-то ещё, поддерживающее NFSv4.1 storage protocol

object storage?

• идеальная основа для cluster storage
• объект - как inode: данные и атрибуты
• OSDv1/v2 - стандартные наборы команд SCSI
• аппаратная поддержка объектов

pNFS: поддержка

• клиенты: Linux, Solaris, …
• серверы: NetApp, Panasas, Linux, Solaris, IBM, EMC, …
• FreeBSD - ?
• NetApp, Panasas, Isilon, IBM Series N - FreeBSD!

NFS over RDMA

• RDMA - не только InfiniBand/iWARP/Myrinet, но и 10GbE
• скоростной доступ к удалённой памяти без CPU
• RPCRDMA - скоростная работа RPC по RDMA
• NFS over RDMA - NFS любых версий по RPCRDMA

FedFS: цели

• набор протоколов для федеративных файловых систем
• доступен для обычных клиентов NFSv4 и NFSv4.1
• участники сохраняют контроль над своими системами
• масштабируемость по географии, числу клиентов, файлов, серверов

FedFS: протоколы

• NSDB - DNS для файлов на основе LDAP
• Junction admin - управление разделами по ONC RPC
• Namespace discovery - на базе DNS SRV

FedFS: результаты

• упрощает администрирование
• разделяет физическое местонахождение данных от логического
• упрощает миграцию и HA/LB-репликацию данных
• существенно упрощает облачное хранение данных

FedFS: поддержка клиентами

• AIX - 2004
• HPUX - 2008
• Linux - 2006
• OpenSolaris - 2010

Вопросы?

• о чём был доклад?
• что такое NFS?
• а обед уже был?
• когда докладчик последний раз брился?