По сети WAN удалось переслать 65 терабайт за 100 минут

На международной конференции по высокопроизводительным вычислениям, сетям, хранению и анализу, SC14, была проведена демонстрация продолжительной передачи данных через магистраль WAN с пропускной способностью 100 Гб/с.

На международной конференции по высокопроизводительным вычислениям, сетям, хранению и анализу, SC14, была проведена демонстрация продолжительной передачи данных через магистраль WAN с пропускной способностью 100 Гб/с.

Участники эксперимента из Аргоннской Национальной лаборатории (ANL) и DataDirect Networks (DDN) при поддержке Ciena, Brocade и ICAIR смогли всего за 100 минут переслать между двумя городами — Оттавой (Канада) и Новым Орлеаном (штат Луизиана) 65 ТБ данных. При использовании соединения 10 Гб/с на это потребовалось бы двое суток. Производительность передачи превышала 85 Гб/с, а в пике составляла более 90 Гб/с.

Это беспрецедентное достижение было осуществлено благодаря сочетанию встроенной файловой системы и функций ВМ контроллера хранения DDN, возможностей скоростной передачи сервера Globus GridFTP и усовершенствованной сети широкого доступа (WAN) 100G.

«Внедрение серверов GridFTP в виртуальные машины контроллера хранения DDN устранило необходимость во внешних узлах передачи данных и сетевых адаптерах, — комментирует Рай Кеттимуту (Raj Kettimuthu), главный разработчик ПО в ANL. — Мы поддерживали скорость переноса данных 85 Гб/с более 60 минут — временами до 90 минут — несколько раз в течение конференции SC14».

В прошлом подобная производительность несколько раз демонстрировалась для переноса из памяти в память с использованием средств эталонного тестирования, таких как iperf. Получение таких же показателей быстродействия для передачи между дисками было трудноосуществимо, поскольку для этого требовалось выбрать размер блока, подходящий как для дисковых, так и для сетевых операций ввода-вывода (I/O), и оптимальное сочетание параллельных I/O-потоков хранения с параллельными потоками TCP.

Эта демонстрация, по заявлению Кеттимуту, была призвана объединить вместе экспертов и последние достижения во всех аспектах междискового переноса данных в широкомасштабных сетях. Участники рассчитывают, что тот же подход можно будет использовать для получения пропускной способности, превышающей 100 Гб/с — задействуя несколько линий WAN и дополнительные ресурсы хранения в оконечных системах.