Дальние связи: «железо» в ЛАЦах и автозалах МТТ — часть II — Новости

Почему я ничего не написал борьбе с шумом?

Бессмысленно бороться с шумом невиданными стойками с шумоизолирующими панелями… Тишуну можно сделать только тремя способами:

Альтернативное мнение

Я выше писал про блоки розеток… но на самом деле я считаю, что правильнее подключать оборудование от АВ в РЩ внутри стойки. Так соединение получается надёжным и защищённым. Но тут есть некоторые неудобства. В основном они связаны с тем, что оборудование имеет совершенно конкретную розетку С14, вилку для которого (С13) не всегда можно найти надлежащего качества.

В итоге она может там шататься и слабое место уже будет там. К тому же надо учесть, что не все инженеры хотя бы знают что такое ПУЭ, а им надо иметь возможность безопасно включить оборудование (опустим тот момент, что по технике безопасности любой инженер должен быть как минимум с 3-ей группой в корочке по электробезопасности сопровождение ответственного с 4-ой группой — все мы понимаем реальность бытия).

Дальние связи: «железо» в лацах и автозалах мтт — часть ii

Инфраструктура кабельных трасс

Для того, что бы прокладывать кабель из разных уголков вашего автозала (от вводов в саму аппаратную или от шкафа с аккумуляторами) вам потребуются кабельные лотки. Это может быть система кабельных лотков под фальшполом, или лотки под потолком, проходящие по периметру помещения и над стойками… В моём случае было принято оптимальное решение: под потолком идут кабельные локти, а в полу был вырезан жёлоб проходящий под телекоммуникационными шкафами, шкафа с АКБ и ответвление к ВРУ на стене.

Жёлоб оббит железом (и заземлён), а сверху накрыт 4мм стальными листами, которые так же как и весь остальной пол, покрыты антистатическим не горючим линолеумом. Нужно поставить новые стойки – убрать с нужных мест лючки, поставили стойки, подтащили по жёлобу линии питания постоянного и переменного тока и всё.

Несмотря на то, что оборудование ещё не инсталлировалось в этот автозал, кабельные локти уже занимаются жгутами медных линий и оптическими кабелями. А именно были сдельны перекидные кроссы между стойками. У меня есть две кроссовые конструкции: стойка однорамная и конструктив с трубчатыми монтажными профилями для 10-ти парных плинтов.

Из телекоммуникационных стоек в однорамную стойку приходят жгуты UTP из каждой стойки, которые с обеих сторон расшиты на патч панели. Аналогично организован оптический перекидной кросс.Таким образом любые кроссировки между оборудование в разных стойках выполняется короткими патч-кордами внутри своей стойки.

А здоровенная рама для плинтов мне нужна ввиду необходимости организовать большой объём соединений PRI портов между станционной и транспортной стороной. Плата транспорта SDH или медиа шлюза расшивается сразу на нужную сторону конструктива, затем кроссируется при необходимости обычным кроссировочным шнуром.

Благодаря тому, что силовые кабели у меня идут по жёлобу в полу, а слаботочка заходит в шкафы сверху, они практически не пересекаются друг с другом (у меня есть оборудование, питание которого включается спереди), даже с учётом того, что кроссы расположены на задних монтажных профилях.

Инфраструктура помещения

Если начинать с выбора помещения, то надо учесть, что инфраструктура этого помещения должна иметь хотя бы такой набор элементов и конструкций:

• Расчётная нагрузка на пол — необходимо смотреть проект здания. Помните, что на 1м² может быть размещено и 700кг в виде шкафа с АКБ. Если площадь позволяет — лучше конечно стеллаж
• Кабельные трассы: лотки под потолком и/или в полу (как вырезанный жёлоб в бетонном полу, так и под фальшполом.
• Система энергоснабжения и энергораспределения
• Шкаф/стеллаж для размещения сборок цепей АКБ.
• Система газового пожаротушения.
• СКД.
• Видеонаблюдение.
• Отдельно стоящий конструктив с трубчатыми профилями для крепление 10-ти парных плинтов, если у вас есть потребность организации множества медных СЛ (PRI например) между оборудованием или от близко расположенных партнёров/заказчиков.
• Межстоечные медные и оптические кроссы.
• Разумеется шкафы/стойки.
• Система кондиционирования (климата) с резервом
• Огнестойкость здания (II или III степени).
• Над помещением автозала (будем называть так нашу серверную) не должно находиться санузлов и других коммуникаций связанных с использованием воды.
• Полы в автозале должны быть несгораемыми, на которые настилают чистые полы в виде антистатического негорючего линолеума или плитка фальшпола.
• Если в помещение есть окна, то как минимум их необходимо тонировать плёнкой или закрыть фанерой, так как на трансформаторы и аккумуляторы не допускается попадания солнечных лучей. В прочем солнечные лучи ничего хорошего не сделают и для другого оборудования. В идеале окон быть вообще не должно, но вряд ли это станет решающим фактором, если все остальные условия можно выполнить.
• Стены автозала не должны быть выполненные из сгораемых материалов. Это не только противопожарная причина, но и необходимость соорудить изолированную камеру на случай отрабатывали системы пожаротушения.
• Система газо-дымоудаления, на случай срабатывания системы пожаротушения.
• Освещение должно быть хорошим. В каком то ВСН по освещению я видел цифру в 200лк. Но в принципе я думаю такой проблемы нет, поэтому просто позаботьтесь о хорошем освещение, желательно с пылезащитой.
• Огнестойкая дверь с уплотнителем по периметру (для герметичности).
• Все металлические конструкции (шкафы, лотки, стеллажи, дверь) должны быть заземлены.
• Все пространство в стенах автозала вокруг кабельных и вентиляционных вводов должны быть заделаны асбестом или специальной противопожарной пеной (оранжевая или красная такая).
• Батареи и другие металлические конструкции, которые могут служить устройством заземления, необходимо отгородить не токопроводящими материалами, что бы исключить возможность замыкание стоек или корпусов оборудования на эти конструкции через тело человека (при одновременном прикосновении).
• И немного по охране труда и электробезопасности: таблички категории помещение и степени опасности, с фамилией ответственного; обозначения на розетках и заземляющих устройствах, плакаты по электробезопасности, пожаротушению и первой помощи (обычно темы плакатов выбирают приближая описанные ситуации к своей отрасли); углекислотные огнетушители и аптечка; резиновые диэлектрические коврики перед и позади шкафов и стоек

Климат

Считается вроде бы не сложно. Если вы сейчас не знаете, какие у вас будут потребности потом, то можно быстро прикинуть и выйти на 2 варианта:

В любом случае должен быть резерв системы поддержания температуру от 18 до 24°С и влажность в районе 50-60% у вас в автозале. У нас например большой кондиционер питается от другой электросети, нежели автозал. И вот если кто-то сможет его погасить, то автоматически запустится сплит система, которые так же без проблем справятся с этой задачей, но питание они возьмут из электросети с дизелем, но без драгоценного автономного ресурса ИБП.

Ещё можно заниматься автоматизацией и мониторингом, в зависимости от того, на что способны кондиционеры… У нас например есть блок управления сплит системой, который мониторит температуры в нескольких точках автозала и задаёт режим работы нескольких кондиционеров.

Но в общем для меня эта тема довольно далека и всё, что нам необходимо было делать по этому вопросу — делала подрядная организация. В планах только прикрутить к этой системе сигнализацию от систем типа netping или чего-то подобного, что бы запускались дополнительные кондиционеры не только, когда большой отключится.

Расчёт автономности вашей электроустановки и выбор акб

Для того, что бы понять, сколько вам нужно купить аккумуляторов (а именно в этом вопрос, потому как это требует много денег), то нет ничего сложно если вы знаете, на какую нагрузку на вашу энергосистему вы рассчитываете в ЧНН (час наибольшей нагрузки).

Для встроенных внутрь батарейных блоков информацию по автономности вы найдёте в материалах для ИБП, а для подсчёта необходимой ёмкости внешней сборки нужно перемножить вольтаж сборки на ёмкость и поделить на нагрузку (t=V*Ah/Wt). Но так как разряд аккумулятора это не линейный процесс, то надо в мануалах к аккумуляторам посмотреть графики разряда и в зависимости от времени, которое у вас получилось, применить коэффициент найденный в паспорте.

В статье про строительство собственного маленького ЦОД для маленького хостинг провайдера использовались автомобильные аккумуляторы, ввиду их дешевизны относительно не обслуживаемых АКБ разработанных для применения на сетях связи (особые режимы эксплуатации — постоянный заряд, редкий разряд, длительная отдача).

Если хотите через 1-2 года их менять (в зависимости от разрядки и глубины этой разрядки), то конечно можете пользовать таким вариантом. Только надо учесть, что эти АКБ являются обслуживаемые, а значит в случае чего (перегрев например), они могу потечь или испаряться через крышечки — а значит их нужно в отдельное вентилируемое помещение ставить и всё такое… В случае же использования герметичных не обслуживаемых АКБ вы можете размещать их хоть в стойках с оборудованием (на дне шкафа или на консольных полках), эксплуатировать от 3 до 8 лет (смотря какая гарантия от производителя на жизненный цикл) и проводить тестирование вашей системы питания по регламенту.

Системы безопасности

• Система пожаротушения. Для тушения пожара должен применять газ. Это опасно для людей, но безопасно для вашей инфраструктуры. Разумеется при срабатывании система будет орать заданное количество секунд и только после этого вскроет баллон с газом. Поэтому персонал должен быть проинструктирован, не глухим и не слепым, что бы видеть светосигнальную информацию о состояние пожарной системы. Как правило, у систем пожаротушения есть панели индикации и управления — персонал заранее должен быть научен понимать и пользоваться этими устройствами.
• Охранная сигнализация. Здесь лучше пользоваться регламентом эксплуатации системы, который выдаст охранная организация. Здесь сказать нечего. Если у вас на объекте постоянно кто-то присутствует, а помещение находится на территории охраняемой службой безопасности владельцев здания, то возможно она вам и не нужна.
• СКД. Согласно нормативно-правовой документации от Мининформсвязи (Приказ от 9 января 2008г №1), в помещение узлов связи должны иметь доступ только лица производящие монтаж, эксплуатацию и техническое обслуживание оборудования. Здесь вопрос не только безопасности доступа к оборудованию (а ведь электронные метки или пароли могут украсть у менее подготовленных лиц — например бухгалтерии или менеджера), но и по технике безопасности. Вряд ли у того же менеджера есть удостоверение по электробезопасности и он проходил инструктаж. А с того момента, как вы растащили электропитание по шкафам — всё ваше помещение — это одна электроустановка.
• Видеонаблюдение. Как и любая другая система безопасности, её питание должно быть зарезервировано и доступ к её элементам управления должен быть ограничен. Камеры следует выбирать с PoE питанием, что б ни от какой розетки на стене не было зависимости. В автозале камеры следует размещать не только для фиксации инцидентов безопасности, но и для разбора полётов с техническим персоналом. Дело в том, что инженер может сделать что-то случайно, а потом не сознаваться, опасаясь расправы. Например, если всё-таки использовать блоки розеток с подключаемым кабелем в разъём С14, то рано или поздно оттуда выпадет вилка С13, особенно если там кто-то решит полазить и расшатает кабель. Аналогично и со стороны оборудования — если шнур плохо сидит в разъёме блока питания оборудования — найдите способ, как улучшить его посадку. Иногда это бывает просто плохой дешёвый провод — я таки сразу выбрасываю. А иногда разъём в оборудование уже деформировался (высох пластик со временем, например). Или же инженер может случайно не тот патч-корд вынуть. У меня самого был случай на первом году работы в телекоме, когда SFP модуль застрял в плате, а очень нужно было срочно его заменить. Как я только не пытался его оттуда вынуть. А это был Juniper MX5-T… именно тогда я узнал, что интерфейсные платы у него не прикручиваются к корпусу — вылетела вся 20х1Gb плата забитая рабочими линками… Камер у нас правда не было, но я и не стал скрывать обстоятельства произошедшего.

Телекоммуникационные шкафы и стойки

По моему мнению, если вы строите узел связи или серверную, где будет ваше основное, или одно из основных мест дислокации, то минимальные размеры шкафа должны быть 800х1000 (ШхГ), стандартной высотой 42U, с цоколем или на 10см приподнятые над полом, а так же отверстиями для ввода кабельной инфраструктуры, как через цоколь, так и через потолок.

И я не просто так написал «размеры шкафа». Я считаю, что стойки (просто двойная каркасная рама) использовать можно только для стендов тестирования и кроссов. Спустя некоторое время эксплуатации ряда стоек, вы обнаружите, что патч-корды были прокинуты лианами между стойками со всех сторон, даже если вы сами любите порядок, то кто-то другой обязательно для ускорения процесса кинет такую соплю, а потом забудет переделать до того, как там пустят клиентский сервис. Именно поэтому должны быть шкафы и у них обязательно должны быть закрытые боковые панели и закрывающиеся двери.

Для того, что бы двери закрывались всегда, необходимо монтажные профили устанавливать хотя бы на 10см вглубь, как спереди, так и сзади. Если их ставить близко к двери — могут возникнуть неудобства с оборудованием, которое выступает вперёд своей передней панелью за монтажные профили, SFP модуль торчит оптический патч-корд в нём.

Как результат — дверь будет гнуть патч-корды, если вообще сможет закрыться. Буквально недавно из-за такой не продуманности пришлось несколько раз ездить на узел, где у нас был установлен cwdm в арендуемой стойке (к слову сам он даже не выпирал за пределы плоскости монтажных профилей).

Дверь могли закрыть по-разному и она по-разному прижимала патч-корды, роняя линки. Хорошо, что поняли в чём дело ещё на этапе тестирования и наколхозили по-быстрому решение. А для того, что бы иметь возможность утопить монтажные профили, и нужна глубина шкафа от 1000мм — в случае приобретения довольного сервера (на 800 например), вы не сможете закрепить салазки на профилях расставленных ближе чем 800мм, а сам сервер не сможет до конца заехать в стойку. (по крайней мере у платформ Intel такая конструкция салазок).

Сами двери бывают стеклянные или перфорированные (кто-то покупает целиком стальные без перфорации). Здесь выбор под задачи и способы обеспечивания климата. Если холодный воздух у вас подаётся в коридор, то смысла брать стеклянную дверь (или дверь без перфорации) никакого нет.

В шкафу обязательно должны быть вертикальные органайзеры на переднем монтажном профиле и, по необходимости, на задних. У меня вертикальные органайзеры с обеих сторон, потому как спереди организуется подъём и спуск меди и оптики, а сзади подвод питания к оборудованию и UTP от серверов (опять же медь с данными идёт по одной стороне, а силовые шнуры по другой).