IT-инфраструктура вуза. В комментариях отвечаю на вопросы.

Разрабатывайте решения, к которым не придется постоянно возвращаться из-за их сбоев.

Плюнь тому в глаза, кто скажет, что можно обнять необъятное!

IT-система любого предприятия представляет собой достаочно сложную систему. Для вуза, особенно классического и территориально распределенного по городу, создание единой системы несет большое количество положительных моментов. Единая университетская IP-сеть позволяет гибко и своевременно реагировать на запросы и решать возникающие задачи.

Систему можно строить тремя способами:

1) Разрозненный набор автономных сетей по территориальному признаку (свои сервера, своя сеть, свои администраторы в каждом здании)

2) Гибрид - автономные системы подключены в "центр" посредством VPN. Часть функций в этом случае может быть консолидирована.

3) Единая и централизованная сеть. IaaS, или "железный" VPN в центр, все управление идет сверху, оборудование в филиалах только для обеспечения низокуровневой сети. В этом случае все сервисы предоставляются центром.

Наш университет эволюционным путем прошел путь от первого к третьему варианту. Плюсы централизации перевесили минусы. Такую систему легче и дешевле сделать надежной (сервер на филиал это совсем не то же самое, что N+1 или N+N), набрать в подразделения эникеев вместо высококвалифицированных системных администраторов и проще и дешевле в разы. Так же, с определенного момента совокупная стоимость владения для грамотно организованной централизованной системы становится меньше, чем для набора автономных систем.

Ремарка. Когда бродил по ЦОДам ВлГУ в голове вертелись 2 мысли: первая - как же круто! и вторая - как же дорого. Уяснил для себя, что по нищебродству нашего вуза многие из "очевидных" и "общепринятых" решений вендоров (cisco, juniper, tivoli etc.) были отброшены и заменены на более прогрессивные и простые. Виртуализация серверов и маршрутизаторов, ip-телефония, ip-видеонаблюдение - каждое из этих решений позволило экономить деньги и одновременно внедрять что-то новое. Более того, на 146% оправдывает себя политика использовать OpenSource решения везде, где это возможно. Особенно хорошо это проявляется в случаях, когда коммерческий софт приходится через несколько лет менять на бесплатный, т.к. он умеет больше и глючит меньше.

9 площадок (13 зданий), 28 комп. классов, больше 1000 стационарных ПК, единая гигабитная сеть (IaaS) по городу, внутри зданий гигабитные аплинки и 100-мбитный доступ для абонентов. Основные тренды - увеличение кол-ва некомпьютерных абонентских IP-устройств: ip-телефоны (более 100 шт.), ip-камеры видеонаблюдения, турникеты и электромагнитные замки на двери (итого ip-сеть в гараж, сантехникам и проч.) и BYOD+удаленная работа => Wi-Fi и VPN.

Доступ к интернету через прокси (2 аплинка 100 и 10 мбит, BGP) на базе Squid (SLES 11 SP1, кэш/gdsf в RAM), на старшие порты - NAT. На территории учебных корпусов (№1, №2, №5 и №6) предоставляется бесплатный доступ к сети Интернет посредством беспроводной Wi-Fi сети.

Блокировка нежелательных ресурсов осуществляется на локальных DNS-серверах и, к неверию многих, распространяется на _все_ машины вуза. Да дорогие мои, у ректора и в IT-отделе заблокированы те же сайты, что и у вас.

Почему DNS? Дешево и сердито. Да, мы лишаемся гибких фильтров по regexp'ам, но Squid не тянет это дело на 100 мбитах. Реализовано очень просто: веб-интерфейс пишет txt-файл, который потом по крону обрабатывается shell-скриптом и добавляется в named.conf.

Да, Wi-Fi. Нам его сделал провайдер. Бесплатные хот-споты для населения и все такое. В университетскую сеть можно попасть через VPN.

Система унифицированных коммуникаций на базе Communigate Pro (Почта+почт. рассылки+WebDAV+XMPP+SIP, телефонные приложения для iPhone и Android). Единая внутренняя нумерация во всех зданиях, более 100 "железных" ip-телефонов, более 300 пользователей. Мучительно умирает аналоговая АТС LG-Nortel. Номер привязан к человеку, а не комнате, поначалу людям это было трудно. Внешние линии и апстрим уходят по SIP вышестоящему провайдеру. Оборудование проброса аналоговых линий в SIP массово не используется.

Чем IP-телефония дешевле проводной? Например, постоянная плата за соед. линии университетской IP-АТС составляют 7% от всех затрат на IP-связь, в то время, как доля затрат на соединительные линии в случае с Ростелекомом составляет уже 29%! Траты на установку проводного номера тоже несоизмеримы. Человек въезжает в кабинет с ПК, кактусом и телефоном, мы подводим UTP и все работает. Чудо.

Кстати, плата на межгород в университете всего 13% от общего телефонного бюджета. Прогресс и низкие цены творят чудеса.

Антиспам - SpamAssassin + ClamAV. Можно, конечно, купить что-то облачное, но для поставленных задач хватает полностью. Я с большим удовольствием бы купил исходящий релей где-нибудь на Яндексе, что б исходящая почта лучше добиралась.

Постоянно спрашивают почему не используем бесплатные альтернативы. Что ж, в принципе можно поставить Asterisk+Zimbra, 5 лет настройки и Маша - ваша! Опенсорц бывает двух видов: все работает и гик в комплект поставки не входит. Коммунигейт даже со своим конским веб-интерфейсом настраивается довольно быстро и дальше работает как часы, знай себе качай новые rpm-ки да ставь. Есть еще вариант Microsoft Exchange + Lync, 100500 лицензий на каждый чих, но выглядит очень интересно. Только уж очень дорого.

Большинство ПК под Windows в домене AD (процесс включения долог, мучителен и не завершен до конца). ОС Linux на десктопах практически не используется, единственное удачное внедрение было в студенческих интернет-классах в общежитиях (расформированы за ненадобностью, у студентов дешевый интернет в комнатах). Автоматическое обновление осуществляется еженедельно по расписанию через локальный сервер WSUS. Доменные машины находятся под набором групповых политик: опытные пользователи для всех сотрудников, папки "Документы" и "Рабочий стол" хранятся на сетевом хранилище (не привязанное к конкретному ПК мобильное рабочее место). На СХД каждые 8 часов снимается "теневая копия", пользователи могут сами просматривать свои копии в проводнике Windows. 

Отдельный сервер резервного копирования на десктопном железе (оч. дешевая емкость), SLES 11, Bacula. Забирает агентами все критически важное, хранит на hdd, если очень надо можно нарезать DVD.

Хочется купить места на Amazon или другом западном Cloud Backup и смело лить данные Бакулой туда. Жалко только не дают счет-сч.фактуру-накладную/договор
на 30%+100500 согласований-мы-же-серьезное-госучреждение. Отечественных cloud-провайдеров нет от слова совсем. Цены под $1k USD за месяц и полный хабр ругани когда оно постоянно падает.

Университет предоставляет услуги Linux- и Windows-хостинга как своим подразделениям, так и образовательным учреждениям города на безвозмездной основе (операционные системы SLES 11 SP1 и Windows Server 2008 SP2). Для подразделений так же доступно создание выделенного вирт. сервера для внутренних нужд.

Хочется отправить все в Amazon. Жалко только не дают счет-сч.факту...

На компьютеры пользователей через домен автоматически устанавливается Kaspersky Endpoint Security 8 с включенным репутационным сервисом KSN. Доп. модули (контроль раб. места, антибаннер, "песочница" для подозрительных файлов) отключены из за слабости основного парка машин (ПК 5-7 летней давности). Управление и контроль за антивирусом осуществляется на локальном сервере KSC (отчеты о заражениях, обновление, правила поведения антивируса, настройка защиты и проч.). Касперский из предоставленных решений для гос. вуза лучший по соотношению цена/качество.

В дополнение к К. на прокси-сервере висит скрипт, который умеет вынимать из OpenDNS заблокированные вирусные домены, проверять лог-файл локального dns-сервера и писать в спец. ACL-файл для Squid'a, чтоб на клиентских машинах пропадал интернет.

На почтовом сервере заблокированы определенные типы файлов (по mime), прямо как на google. До почтового анитвируса, соответственно, изредка добираются инфицированные DOC-файлы.

Идет мучительный процесс миграции с разношерстных и независимых систем аналогового видеонаблюдения на единое IP-решение. По вузу ставятся ip-камеры с возможностью записи на NFS-хранилище или во встроенную память. Преимущества: 

1) Единая система на все точки, нет разрозненных архивов в разных зданиях, нет проблем смотреть любую камеру, нет нужды поддерживать и чинить автономные сервера видеонаблюдения в корпусах. 

2) Единое кабельное хозяйство - нет нужды тянуть отдельный коаксиал в богом забытое место, нет нужды дублировать слаботочные линии по популярным направлениям; точка подключения камер - ближайший магистральных узел, экономия метража, сокращение времени развертывания. 

3) PoE питание - камерам нужен только один кабель вместо 2-х в аналоговом исполнении, PoE-коммутатор в шкафу на ИБП, работает несколько часов после пропадания света (камеры с ночным режимом съемки).

СКУД включает в себя турникеты-вертушки, магнитные замки на дверях. Управляется по IP-сети с центрального сервера (сотрудники и студенты автоматически синхронизируются с 1С). Система достаточно прочная на сбой - турникет (считыватель замка) автономно хранит всю информацию о картах, в случае потери связи способен не только работать на пропуск, но и записать во встроенную память 10 000 входов/выходов, на сервер сольет как появится сеть. Процесс пуско-наладочных работ первой очереди завершен, ждем окончания внедрения системы 1С "Университет", в ней студенты, а без этого - никуда. Как только БД студентов будет заполнена бюро пропусков начнет выдавать карты и замки будут переведены и "боевой" режим.

Однако ж, очень хочется засунуть распоряжение об установке турникетов обратно в попу министерству образования, обвешать кампус камерами наблюдения как новогоднюю елку или сингапурское метро. Камеры решают проблемы безопасности _публичного_ места, турникеты - нет. Пользы не будет никакой, вуз - не военный завод, где персонал проверен и не меняется годами, тут проходной двор не хуже магазина.

Вся кабельная инфраструктура построена на базе оборудования HP ProCurve, сети изолированы на вланы (по зданиям, по этажам, по сервисам). IaaS (1 Гбит/с) по городу, ежегодный конкурс на услугу. Магистральные управляемые коммутаторы монтируются в настенные шкафы без доступа посторонних с ИБП и заземлением (где есть соотв. контур). В центре сети стоит ветеран - L3-коммутатор 5304xl на 64 порта. В планах перевод сети с чистой звезды на OSPF. 

Почему ProCurve? Хорошо, надежно, производительность на высоте, приятный CLI, дешевле Cisco, бесплатные обновления Firmware - это круто. Что плохо - ProCurve привередливы и едят только родные SFP, но это лечится.

C декабря 2011 г. используем виртуализацию маршрутизаторов на основе x86-архитектуры (привет братьям из Toyota, EMC, Dell, Nokia, University of Florida и US Dpt. of Justice). Друзья, это пушка! По самым скромным прикидкам, такая инфраструктура дешевле Cisco в несколько раз, не говоря уж о свободе масштабирования и простоте эксперимента: склонировал маршрутизатор и твори сколько влезет.

В боевом виде подняты L3-маршрутизатор, NAT-гейт, пограничный BGP-маршрутизатор, VPN-сервер. Используем opensource платформу Vyatta, на сервере x3550 M3 с 6x1 Гбит/с портами, гипервизором ESXi и несколькими вирт. машинами под каждую из задач. Внешний интернет-канал на май 2012 г. состоит из 100+10 мбит линков (bgp full view), ежегодный конкурс на услугу. Ширина канала и грамотно настроенный QoS позволяют спокойно давать пользователям NAT на старшие порты (голос, видео, flash-p2p и прочий битторрент). Университет поддерживает собственную автономную сеть AS47124. Wi-Fi публичный, пускает только в интернет и к серверу Communigate, доступ к локальной сети - через VPN (PPTP, L2TP). 

Системы мониторинга состояния инфраструктуры - Zabbix и Nagios.

Серверный парк университета построен на оборудовании IBM и включает в себя: p510Q, x3650, x3650M3, x3550M3. СХД NetApp FAS2020 с полкой расширения DS10mk в конфигурации Active-Active кластера. С 2006 г. вуз активно применяет виртуализацию. На 2х серверах упаковано около 20 вирт. машин. Платформа виртуализации - VMWare vSphere, сервера подключены к СХД по FC. Так же используются встроенные возможности СХД - SMB-папки для подразделений и сетевые диски делаем сразу на ней.

Хочется развернуть полноценное частное облако. Но, честно говоря, пока не доросли - фермер и мамба прекрасно работают и без частного облака. Во всем вузе сейчас целых 2 (два) человека, которым от нас потребовалось что-то нестандартное и отдельное. Их, понятное дело, завели руками.

p510Q выключили несколько месяцев назад - экономим электричество в ИБП, остальные машины дольше проживут. Потом уедет в резервную серверную и еще лет 5 поработает как миленький.

В настоящий момент все крайне компактно - отдельная комната, 2 стойки. 3 кондиционера - два в системе ротации (УРК 2Т), третий подключен в обход управляющего щита. Уже окупилось несколько раз! Первый, когда щит управления сгорел пламенем, из за халтурного проектирования конторы, что ставила кондиционеры, и второй раз, когда дешевые автоматы "ИЭК" оба! срабатывали на 19 ампер вместо паспортных 25. Электропитание 3-х фазное. Телеком. стойка через переключатель
фаз ПЭФ-301 на 3 кВт ИБП. Серверная стойка - 3х3 кВт ИБП (по 1 шт. на фазу). Сервера и СХД подключены одновременно к паре (в каждом сервере по 2 БП). К ИБП подключены платы контроля окр. среды, с которых по SNMP снимаются показания и в Zabbix строятся графики температуры в помещении и внутри закрытой стойки. Так же рисуется график напряжения в электросети (зафикс. суточные колебания от 180 до 257 вольт).

Почему ИБП не один большой красивый на 3 фазы и все деньги? Как раз поэтому. Менеджеры Eaton не подобрали дешевый и такой, чтобы выключение одной фазы из трех не переключало систему на батареи. APC Symmetra, говорят, такое издевательство переваривает, но чисто "теоретически". При несбалансированной нагрузке на выходе любит гореть, что при отсутствии сервисного контракта чревато потерей штанов. В случае отдельных ИБП на каждую фазу и сдвоенных БП у активного оборудования отключение фазы проходит легко и непринужденно.

Все плохо, но надежда есть.

Начался медленный процесс замены зоопарка старых и откровенно древних машин на заводские HP. Неупр. коммутаторы стараемся ставить 8-портовые ProCurve или 5-портовые HP-3Com, но по местам еще встречаются старые D-Link.
По приказу Ректора все должны пользоваться OpenOffice/LibreOffice и форматом ODT. Однако ж реалии документообмена с министерствами и отечественный горе-софт, не предполагающий отсутствия MS Office даже на сервере очень сопротивляются таким раскладам.

Все плохо.

План консолидации всех печатных мощностей в нескольких принт-центрах не можем осуществить несколько лет. Есть шанс дойти до безбумажного будущего как есть, в лаптях и веригах.

Drupal на SLES 11 SP1, Nginx, php-fcgi (без Apache вообще), xcache, MySQL/InnoDB. Для ускорения работы друпалу подключен модуль Boost (кладет в спец. папке html-копию страниц сайта). Конфигурационный файл nginx'a страшен. Форум на базе phpBB3 был закрыт в пользу университетской группы "ВКонтакте" (~6 тыс. участников).

Преимущества - Drupal может все, на нем работает сайт Ubuntu и вообще, в США даже белый дом в него верит.

Нодостатки - вышеописанное "все" обычно реализовано через <s>жоп</s> модуль, который надо сильно пилить или писать свой.

Альтернативы:

- Typo3  для очень умных

- Страничка на Ucoz или Narod.ru, не ну а чо?

В качестве платформы дистанционного обучения используется Moodle в связке с OpenMeetings.

Центральные свитчи в зданиях в L3, между собой в OSPF, резервная серверная в другой части города, между ними развести кластер маршрутизаторов (г-ди, благослови Vyatta!), прокси-серверов с балансировкой через anycast, кластер communigate.

Зачем? Затем, что дизель это очень дорого и очень бестолково. Если здание обесточено, смысла гордо держать рабочие стойки нет. А вот давать сервис подразделениям в 12 оставшихся зданиях еще как есть.

Рязанский государственный университет имени С. А. Есенина — высшее учебное заведение Рязани. Является крупнейшим образовательным учреждением в Рязанской области. Университет носит имя русского поэта, уроженца Рязанского края Сергея Есенина. Основан в декабре 1915 года как первый в России женский учительский институт.

В университете обучается 12 тысяч студентов всех форм обучения, из которых около 6 тысяч — очники. Профессорско-преподавательский состав насчитывает 710 человек, среди которых члены международных и российских академий, 90 докторов наук и профессоров, 385 кандидатов наук и доцентов.

Отдел телекоммуникаций обеспечивает бесперебойную работу компьютерной сети университета, проводит контроль за правильным использованием установленных сетевых ресурсов, осуществляет прокладку и настройку новых сегментов сети, устраняет возникшие неисправности в имеющихся коммуникациях, разрабатывает необходимое программное обеспечение для работы серверов университета, обеспечивает защищенный доступ в Интернет, к электронной почте сотрудников и студентов университета, а так же поддерживает внутриуниверситетскую телефонную IP-сеть. Отдел телекоммуникаций ведёт непрерывную работу по модернизации локальной сети университета, объединяющей 9 корпусов и более 1000 компьютеров.