новости
статьи
.технологии

технологии обеспечения непрерывности ИТ-сервисов в чрезвычайных ситуациях

10—15 лет назад ведущие мировые компании, в первую очередь — финансовый сектор рынка, осознали степень зависимости бизнеса от информационных технологий. Крупные корпорации начали целенаправленно внедрять технологии обеспечения непрерывности бизнеса в непредвиденных ситуациях (Business Continuity Planning, ВСР).

В развитых странах рынок технологий и услуг, обеспечивающих непрерывность бизнеса, динамично развивается. Его рост составляет около 25% в год и обусловлен, главным образом, тем, что средние компании вслед за лидерами индустрии активно внедряют у себя технологии управления кризисными ситуациями. При этом все более актуальным становится обеспечение защиты от не катастрофических, но более вероятных чрезвычайных ситуаций. Средней компании нет смысла защищаться от катастрофы (Godzilla scenario), если она не сможет выжить от менее масштабных, но более вероятных угроз ("крысы до смерти загрызут", как метко выразился кто-то из американских авторов).

В любом случае, в непрерывности бизнеса следует руководствоваться принципом: "Ной построил ковчег до Великого потопа".

стратегии обеспечения непрерывности ИТ-сервисов

Не делать ничего.
Стратегия состоит в том, что не предпринимаются никакие специальные меры, направленные на снижение рисков от вероятных кризисных ситуаций. Надежда возлагается на то, что в случае ЧС у компании будет достаточно времени и ресурсов для выполнения необходимых шагов по восстановлению работоспособности поврежденного оборудования.

Такой подход оправдан, если операционная деятельность компании позволяет безболезненно для бизнеса прерывать функционирование ИТ-сервисов на время, необходимое для закупки оборудования и выполнения восстановительных работ.

Построить крепость (fortress). Данный вариант снижает вероятность реализации внешних угроз до приемлемого уровня, когда их можно уже не опасаться. Примером решений такого рода могут служить сейфы и саркофаги, надежно защищающие оборудование от внешних воздействий, физическая защита по периметру здания, видео-мониторинг помещений и т.д.

Крепость хорошо защищает только то, что находится внутри нее. ИТ-сервисы, несмотря ни на что, могут остаться уязвимыми, например, за счет потери внешних данных или отсутствия доступа к сайту. На практике в большинстве случаев здания с расположенными в них вычислительными центрами (ВЦ) открыты для доступа множества людей и, следовательно, мало пригодны для "построения крепости".

Использование резервной площадки (continuous processing). Стратегия этого подхода заключается в создании резервной площадки, развертывании на альтернативной площадке резервных систем и коммуникационных каналов, полностью идентичных продуктивной среде. При этом переключение на альтернативную площадку предоставляемых информационной системой сервисов происходит только в случае чрезвычайной ситуации.

Это решение, как правило, сочетается с организацией альтернативной "теплой" или "горячей" площадки.

"Холодная" альтернативная площадка — место для размещения нового оборудования, где оно может быть развернуто с нуля.

"Теплая" альтернативная площадка — серверное помещение для размещения нового оборудования с проинсталлированным окружением (опорной инфраструктурой), которые позволяют перезапустить сервисы на альтернативной площадке, не доводя до драматического влияния на бизнес вынужденного перерыва в функционировании сервисов. Такая площадка может иметь большую часть требуемого оборудования за исключением позиций, которые при необходимости быстро доставляются со склада.

"Горячая" альтернативная площадка обеспечивает эффективное дублирование сервисов с производительностью, достаточной для обслуживания бизнеса. На ней имеется все необходимое для этого оборудование, и в случае чрезвычайной ситуации могут потребоваться лишь работы по инсталляции приложений и данных.

Возможность организации перевести бизнес на альтернативную рабочую площадку значительно повышает ее жизнеспособность. Коммерческие поставщики DR- сервисов обычно ограничивают время предоставления сервисов "горячей" и "теплой" резервных площадок (как правило, шестью неделями). По истечении этого срока, в случае серьезного ЧС, прежде чем вернуться на основную площадку, организации может потребоваться временный перевод бизнеса на "холодную".

Стоимость такого решения наиболее высокая. Она обусловлена в основном стоимостью высокопроизводительных резервных систем, в штатной ситуации находящихся в режиме ожидания (наступления ЧС) и, следовательно, в операционной работе не участвующих.

Распределенная обработка (distributed processing). Стратегия распределенной обработки характеризуется локализацией различных сервисов на нескольких альтернативных площадках. Благодаря этому очень мала вероятность выхода из строя одновременно всех систем даже при катастрофе (не все яйца кладутся в одну корзину). Более того, отдельные сервисы можно задублировать на двух площадках, обеспечивая дополнительную гарантию жизнеспособности информационной системы.

Распределенная обработка организуется таким образом, чтобы иметь возможность восстановить работу приложений на альтернативной площадке. Процесс восстановления значительно облегчается при стандартизации оборудования.

аутсорсинг ВСР: управление и поддержка

Введение планов обеспечения непрерывности бизнеса (ВСР) может либо осуществляться самой организацией, либо используется аутсорсинг необходимых для этого ресурсов. Однако развитие, сопровождение и тестирование этих планов в любом случае потребуют активного участия специалистов заказчика, как минимум, для того, чтобы предоставить исполнителю требования к системам и детальную информацию о конфигурации оборудования.

Несмотря на то, что в штате компании может не быть аварийных команд, заказчик остается хозяином разработанного процесса. Его усилия по регулярному обучению аварийных групп восстановления и периодическому проведению учебных переключений на резервное оборудование решающим образом определяют эффективность плана аварийного восстановления при наступлении ЧС.

Заказчик, кроме того, осуществляет постоянный контроль и проецирование изменений, происходящих в информационной системе, на ВСР.

Страхование финансовых рисков прерывания ИТ-сервисов. Страхование рисков само по себе, частично компенсируя финансовые потери, никак не гарантирует для попавшей в беду компании сохранность бизнеса. С другой стороны, планом аварийного восстановления должны учитываться процедуры, связанные с оперативным получением страховых выплат при наступлении чрезвычайной ситуации (для спасения имущества и закупки нового оборудования).

Страхование от потерь прибыли и непредвиденных расходов на восстановление после ЧС осуществляется на ограниченный период времени (обычно 6-12 месяцев). После этого компания предоставлена самой себе, и хотя страхование рисков выглядит привлекательным решением, в очень многих случаях застраховавшие свои риски компании не смогли возобновить свой бизнес. Как бы то ни было, разумное страхование активов, стоимости восстановительных работ и потери прибыли в случае ЧС должно рассматриваться как часть стратегии обеспечения непрерывности бизнеса.

Создание запаса резервного оборудования на складе поставщика (Procurement). Данная стратегия заключается в том, что в договорах с ключевыми поставщиками оборудования определяются условия формирования на складе запаса критичного для бизнеса оборудования, которое должно быть поставлено заказчику в гарантированные сжатые сроки.

Хранение запасного оборудования на складе эффективно, когда оно относительно дешево, а время его поставки велико. Дополнительные затраты, связанные с созданием и хранением запаса оборудования, должны соизмеряться с потенциальными потерями от простоя, связанного с ожиданием поставки вышедшего из строя оборудования в случае ЧС.

Целесообразно такой подход сочетать с организацией альтернативной "холодной" площадки.

ключевые параметры обеспечения непрерывности ИТ-сервисов

Ключевыми характеристиками, определяющими требования к непрерывности IT-сервисов, являются следующие параметры (рис. 1):

- RPO (целевая точка восстановления) — согласованный с бизнесом интервал времени, предшествующий аварии, за который допускается потеря данных. Иными словами, этот параметр показывает, насколько состояние системы и данных может откатиться назад при ЧС.

- RTO (целевое время восстановления) — согласованный с бизнесом интервал времени после аварии, необходимый для восстановления IT-сервисов.

- RPO и RTO — краеугольные камни, лежащие в основе выбора технологий защиты данных и защиты систем (на уровне приложений).

Основными технологиями, обеспечивающими защиту данных в ЧС, являются:

- резервное копирование и архивирование данных на удаленной площадке (Crossite backup) с размещением их на ленточных накопителях;

- различные способы репликации данных на удаленную площадку с размещением их на дисковых массивах.



Рис. 1. Целевая точка и целевое время восстановления.

Техническим решением обеспечения защиты систем на уровне приложений являются различные методы удаленного резервирования серверов, в частности, варианты кластерных комплексов, у которых узлы тем или иным способом разносятся на удаленные площадки. Переключение приложения с одного узла на другой происходит автоматически либо вручную. Некоторые простои, связанные с недоступностью приложений, имеют место и в кластерных конфигурациях, но они несоизмеримо ниже, чем в случае одиночных систем. Для кластеров типичный коэффициент готовности Кг = 99,98 (около 1 часа в год).

Избыточность вычислительных ресурсов, за счет которой достигается высокая доступность, подразумевает усложнение вычислительного комплекса и требует дополнительных усилий по управлению. Это увеличивает стоимость решения.

Важной задачей проектной деятельности по обеспечению непрерывности ИТ сервисов в условиях чрезвычайной ситуации является определение требуемого уровня защищенности систем, исходя из необходимых затрат и потенциальной выгоды от уменьшения времени простоя критичных приложений. Технологические решения по защите систем и данных в ЧС должны сопровождаться разработкой и внедрением организационных мер и процедур, обеспечивающих быстрое и предсказуемое восстановление ИТ сервисов на резервной площадке.

технологии защиты данных

Приводим варианты типовых технологических решений, рассчитанных как на физическое, так и на логическое искажение данных. На практике они должны использоваться в сочетании, чтобы защитить организацию от обоих типов угроз.

варианты с RPO ~ 0 часов (физическая потеря данных)

Синхронная репликация данных с использованием зеркальных копий томов. Суть этой технологии состоит в том, что программное обеспечение (ПО) управления томами головного сервера синхронно копирует данные логических томов головного дискового массива на заранее выделенные зеркальные тома удаленного дискового массива (рис. 2). При этом для связи между вычислительными центрами, как правило, используется высокоскоростная сеть на основе волоконно-оптических каналов связи.



Рис. 2. Схема синхронной репликации данных с использованием зеркальных копий томов.

Для управления томами можно использовать стандартное программное обеспечение, встроенное в операционную систему, либо возложить выполнение этой задачи на специализированное ПО, поставленное третьими фирмами.

Качество ПО менеджера томов во многом определяется тем, насколько успешно выполняется инкрементная ресинхронизация двух половин зеркалированного тома в случае временного сбоя связи между дисковыми массивами. Важно максимально быстро повторно синхронизировать зеркала после восстановления связи, чтобы свести к минимуму деградацию производительности сервера и восстановить непротиворечивость данных.

Основные преимущества:

- технология позволяет использовать дисковые массивы разного типа. Это значительно расширяет выбор и позволяет снизить начальные затраты на реализацию системы аварийного восстановления данных;

- при сбое основного дискового массива не требуется выполнение аварийных процедур, связанных с переключением, — процессы ввода-вывода можно продолжать на удаленном массиве. Это значительно облегчает регламент планового технического обслуживания дисковых массивов;

- технология поддерживается как UNIX-, так и Windows-системами.

Основные недостатки:

- немного пострадает производительность серверов, поскольку управление зеркальным копированием томов требует дополнительной обработки данных (как правило, менеджеры томов отнимают не более 5% ресурсов центрального процессора (ЦП) и памяти сервера);

- недостаточная пропускная способность сети может негативно повлиять на производительность приложений, особенно тех, которые требуют большого объема ввода-вывода;

- во время повторной синхронизации после расщепления зеркала непротиворечивость данных нельзя гарантировать до полного завершения синхронизации.

Синхронная репликация данных под управлением хост-системы. Данная технология обеспечивает копирование данных головного сервера на удаленный (рис. 3) под управлением хост-системы (в отличие от простого создания зеркальных копий). Обработка выполняется на том же сервере, где находятся сами тома, поэтому часть ресурсов сервера расходуется на журналы репликации и подобные активности. Эта технология репликации может работать в нескольких режимах: синхронном, асинхронном и адаптивном. В последнем случае обеспечивается автоматическое переключение репликации с синхронного на асинхронный режим, в зависимости от пропускной способности сети.



Рис. 3. Схема синхронной репликации данных под управлением хост-системы.

При репликации под управлением хост-системы для передачи данных используются, как правило, IP-сети. Хост-система ведет журналы, куда заносятся все произведенные операции записи.

Заполнение журналов начинается с момента, когда по какой-либо причине прерывается передача данных в удаленный центр. Как только требуемая пропускная способность восстановится, хост-система на основе журнала обеспечит пересылку еще не скопированных данных в удаленный центр. При настройке системы на репликацию только в синхронном режиме необходимо обеспечить требуемую пропускную способность сети. Недостаточная пропускная способность сети может недопустимо ухудшить работу приложений.

Основные преимущества:

- данная технология репликации позволяет точно копировать данные независимо от того, на каких физических устройствах они хранятся;

- это решение обеспечивает правильность порядка записи, что гарантирует сохранение логики и структуры копированных данных;

- топология системы не подразумевает обязательного подключения серверов к сети хранения данных (SAN);

- при работе в адаптивном режиме (когда происходит автоматический переход из синхронного режима репликации в асинхронный при недостаточной пропускной способности сети и, соответственно, возникновении очередей) репликация такого типа позволяет успешно решать проблемы сбоев работы сети между вычислительными центрами;

- эта технология поддерживается как UNIX, так и Windows-серверами.

Основные недостатки:

- поскольку для репликации томов требуется дополнительная обработка данных, вычислительные ресурсы серверов для выполнения производственных задач в определенной степени снизятся (как правило, задача требует не более 5% ресурсов ЦП и памяти);

- в резервный ВЦ потребуется установить сервер, на который будут копироваться данные.

Синхронная репликация данных на базе дискового массива. Здесь используется технология репликации данных средствами физического дискового массива. Специальное программное обеспечение, работающее в составе дискового массива, обеспечивает передачу данных в кэш основного массива, а затем передачу в кэш дискового массива на удаленном узле до подтверждения операции записи головным сервером. При этом на репликацию не тратятся ресурсы сервера, поскольку процесс обслуживается только дисковым массивом. В данной технологии время репликации незначительно возрастает, поскольку операция записи становится двухэтапной.

Эта технология допускает работу в синхронном, асинхронном и адаптивном режимах.

При репликации под управлением дискового массива (рис. 4) для соединения массивов обычно используется протокол FC, нередко на базе
инфраструктуры с мультиплексированием высокой плотности по длине волны (DWDM).



Рис. 4. Схема синхронной репликации данных на базе дискового массива.

Основные преимущества:

- репликация под управлением дискового массива не создает дополнительной нагрузки на серверы;

- поскольку все настройки выполняются на самом дисковом массиве, управление проще, чем в решениях под управлением хост-системы;

- эту технологию поддерживают как серверы UNIX, так и серверы Windows.

Основные недостатки:

- задержка при записи, появляющаяся с введением двухэтапного процесса передачи в кэш, может повлиять на производительность приложений (даже при небольшом расстоянии между центрами), особенно в тех приложениях, которые предполагают большой объем записи (например, загрузка данных);

- не все решения этого типа могут обеспечить правильный порядок записи данных в асинхронном режиме;

- в некоторых реализациях репликации на базе дисковых массивов может возникать противоречивость данных при переключении из синхронного режима в асинхронный и обратно;

- решение этого типа привязывает заказчика к конкретной модели дискового массива. Программное обеспечение по репликации данных одного поставщика не допускает репликации на массивы других поставщиков;

- все данные, подлежащие репликации, должны храниться в одном массиве.

варианты с RPO ~ 0 часов (логическое искажение)

"Расщепление зеркала" с использованием технологических возможностей дисковых массивов.
Эта технология применяется для защиты от рисков логических повреждений (рис. 5). Обычно она комбинируется с одним из решений, описанных выше. Важно понимать, что зеркалирование и репликация не защищают от рисков логического повреждения данных, которые, "как есть", копируются на удаленные узлы.



Рис. 5. Схема "расщепления зеркала" с использованием технологий массивов.

Дисковые массивы уровня предприятия (Enterprise) способны создавать локально зеркальный образ логического устройства и "расщеплять" зеркало пополам, сохраняя копию тома на фиксированный момент времени. Копия может использоваться для других целей, таких как тестирование приложений или анализ данных. Этот способ можно эффективно использовать для доступа к копии в случае повреждения основных данных.

Такие копии могут создаваться настолько часто, насколько нужно заказчику. Если, например, каждые 60 минут создается копия данных, в случае логического повреждения всегда можно вернуться к данным не более чем 60-минутной давности.

Основные преимущества:

- повторная синхронизация зеркал не создает непосредственной нагрузки на серверы, хотя и может повлиять на ввод-вывод, поскольку потребуется дополнительная пересылка данных внутри дискового массива;

- зеркальные копии можно использовать для восстановления основного логического тома после физического сбоя;

- зеркальные копии можно использовать для сопутствующих процессов, например, для генерации отчетов или для резервного копирования.

Основные недостатки:

- поскольку зеркальные копии создаются внутри массива, нет возможности использовать другие, более дешевые массивы для хранения расщепленных зеркальных копий;

- на практике решение такого типа обходится дорого, потому что каждая зеркальная копия основного тома требует того же физического объема устройства хранения, что и сам основной том, включая и незанятое пространство.

"Расщепление зеркала" под управлением хост-системы. Этот способ также используется для защиты от логических, а не физических искажений (рис. 6). Обычно он применяется в сочетании с одним из решений, описанных выше.



Рис. 6. Схема "расщепления зеркала" под управлением хост-системы.

Создание зеркальных копий данных под управлением хост-системы с использованием технологий централизованного зеркального копирования реализуется, как правило, в качестве дополнения к менеджеру томов операционной системы.

Как и в случае с массивами, эта технология "расщепляет" зеркало и создает копию основного тома на фиксированный момент времени. Образы данных можно создавать так часто, как потребуется.

Основные преимущества:

- с логическими томами зеркальной копии можно работать независимо от физических дисковых массивов. Это позволяет снизить общую стоимость хранения за счет хранения зеркальных копий на альтернативных более дешевых дисковых массивах;

- зеркальную копию можно использовать для восстановления основного тома в случае его физического сбоя;

- зеркальные копии можно применять для сопутствующих процессов, например, для генерации отчетов или для резервного копирования.

Основные недостатки:

- решение такого типа обходится дорого, потому что каждая зеркальная копия основного тома требует того же физического объема устройства хранения, что и сам основной том, включая и незанятое пространство. Однако затраты можно сократить за счет использования для хранения зеркальных копий более дешевых дисковых массивов;

- приложения должны прекратить запись в том в момент создания фиксированного образа. Только в этом случае можно гарантировать, что зеркальный образ будет содержать непротиворечивые и логически неповрежденные данные.

Мгновенные копии на основе технологий копирования при записи. Мгновенные копии (Snapshots) — это еще один способ защититься от логического искажения данных, при котором данные копируются под управлением хост-системы (рис. 7).



Рис. 7. Схема "мгновенных копий" с использованием технологий копирования при записи.

Эта технология обычно реализуется как опциональное дополнение к файловой системе сервера. Когда создается мгновенная копия, файловая система генерирует битовый массив, который используется для отслеживания изменений в блоках.

При доступе к мгновенной копии неизмененные блоки читаются, как обычно, из файловой системы, а измененные — с копии первоначальных данных. Можно делать несколько мгновенных копий. В каждой из них будет свой битовый массив с указателями на блоки, которые претерпели изменения с момента создания копии. Таким образом, требуется всего одна копия измененного блока, каким бы ни было количество созданных мгновенных копий. Как и в случае с массивами, фиксированные образы можно создавать сколь угодно часто. При этом важно отметить, что создание множества мгновенных копий файловой системы — более практичное решение, потому что для этого требуется совсем немного дискового пространства.

Мгновенные копии можно представить как файловые системы чтения/записи, и при этом они по-прежнему "объединены" со своим основным эквивалентом.

Основные преимущества:

- можно создать много мгновенных копий, заняв лишь незначительную часть дискового пространства (обычно от 5 до 15%);

- каждая мгновенная копия доступна как независимая файловая система, но осуществить этот доступ может только тот же сервер. Копию можно использовать как "точку отката" в случае логического искажения.

Основные недостатки:

- этот метод пока недоступен на Windows-серверах;

- мгновенные копии не защищают от логического искажения, возникшего на уровне ниже файловой системы (например, вследствие ошибки менеджера логических томов или ошибки в канале ввода/вывода SCSI/FC);

- мгновенные копии не защищают от физического сбоя основной дисковой подсистемы;

- мгновенные копии увеличивают нагрузку на ЦП и систему ввода/вывода на ведущем сервере. Увеличение составляет, как правило, около 5%, но зависит от уровня активности записи в файловой системе.

варианты с RPO = 24 часа (физическая потеря данных или логическое искажение)

Перекрестное резервное копирование с использованием сети хранения данных.
Очевидно, что для реализации решения на удаленной площадке должны храниться носители (например, магнитные ленты) с производственными данными не старше 24 часов.

Для резервного копирования предлагается использовать сеть хранения данных, объединяющую оба центра (рис. 8). Это наиболее эффективный метод защиты данных путем копирования на ленточные носители, который позволит обеспечить RPO в пределах 24 часов.



Рис. 8. Схема перекрестного резервного копирования с использованием сети хранения данных.

Как правило, в решениях такого типа используются выделенные резервные IP-сети и сети хранения данных, объединяющие оба центра. Процесс резервного копирования управляется "медиа"-серверами (Media servers). Выделенные сети для резервного копирования позволяют в условиях штатной работы создавать резервные копии на магнитных носителях в удаленном вычислительном центре. Таким образом, приложения, работающие в любом из центров, будут обеспечены резервными копиями на удаленной территории.

Метаданные, которые хранятся на главном сервере резервного копирования, как правило, защищаются дублированием каталогов в резервном вычислительном центре. Один из серверов хранения данных в РВЦ назначается для исполнения функций главного сервера в случае выхода из строя головного ВЦ.

Основные преимущества:

- если произойдет авария, основная инфраструктура резервного копирования между центрами будет доступна сразу, она образует платформу для восстановления системы.

Основные недостатки:

- пропускную способность сети, соединяющей два центра, придется дополнительно увеличить для передачи трафика данных резервного копирования. Однако при относительно небольших расстояниях в пределах 20 км между вычислительными центрами и при наличии каналов DWDM это не составляет большой проблемы;

- критическими точками отказа являются "растянутые" IP-сети и сети хранения данных, используемые для резервного копирования. В большинстве случаев такой риск считается приемлемым, потому что сбой одной из этих сетей не повлияет на производственные приложения (они только лишатся возможности создавать резервные копии).

анализ решений для защиты данных

Решения для защиты данных, описанные выше, оценены техническими экспертами компаний VERITAS, "Информационные системы Джет" и группы ИТ-операций ОАО "Вымпелком" применительно к реализации резервного центра ОАО "Вымпелком" по критериям, представленным в таблицах 1-3. По каждому критерию решениям была присвоена оценка от 1 (худшее) до 5 (лучшее).

Оценки решений для защиты данных технических экспертов.

Таблица 1. RPO ~ 0 часов — физическая защита


РешениеКапитальные затратыЭксплуатационные затратыНадежностьСложностьПроизводительность Техническая пригодность Общая оценка
Синхронная репликация данных с использованием зеркалирования томов4,83,83,04,13,22,921,8
Синхронная репликация данных под управлением хост-системы2,63,12,72,92,12,916,2
Синхронная репликация данных на базе дискового массива2,23,44,03,63,94,621,7


Таблица 2. RPO ~ 0 часов — логическая защита


РешениеКапитальные затратыЭксплуатационные затратыНадежностьСложностьПроизводительность Техническая пригодность Общая оценка
"Расщепление зеркала" с использованием технологий массивов2,63,45,02,94,94,022,7
"Расщепление зеркала" под управлением хост-компьютера2,94,23,93,43,63,621,6
Мгновенные копии с использованием технологии копирования при записи3,64,03,13,03,63,621,1


Таблица 3. RPO < 24 часов


РешениеКапитальные затратыЭксплуатационные затратыНадежностьСложностьПроизводительность Техническая пригодность Общая оценка
Перекрестное резервное копирование с использованием сети хранения данных3,03,53,74,33,54,522,5





Б.Д. Альтерман, и.о. руководителя группы консалтинга ЗАО "Инфосистемы Джет", член BCI. В.В. Задорожный, начальник отдела обеспечения непрерывности ИТ-услуг ОАО "Вымпелком", член BCI. Р.В. Лукин, главный специалист отдела обеспечения непрерывности ИТ-услуг ОАО "Вымпелком", член BCI. А.Е. Лукичев, начальник отдела проектирования вычислительных комплексов ЗАО "Инфосистемы Джет", член BCI. К.В. Мусатов, инженер проектировщик группы консалтинга ЗАО "Инфосистемы Джет", член BCI. С.Н. Шилин, директор ИТ-инфраструктуры ОАО "Вымпелком"
обсудить статью
© сетевые решения
.
.