Роутеры рейтинг 2018 отзывы 5 лучших моделей: обзор и рейтинг ТОП-8 моделей для дома 2023 года

Можно ли сейчас продолжать развивать IT-инфраструктуру? Что изменилось после февраля 2022 года / Хабр

Короткий ответ: можно и нужно. Нужно для людей, которые продолжают пользоваться мобильными сервисами, доставкой еды и кидать заказы в корзины маркетплейсов. Эти бизнесы работают и растут, а значит, с поддержкой и развитием IT-инфраструктуры мы справляемся. Но это потребовало быстрых адаптаций.

Меня зовут Кирилл Малеванов, я технический директор Selectel. В начале 2022 года мы также столкнулись с необходимостью принимать быстрые эффективные решения. Как продолжать строительство нового дата-центра, закупать оборудование и не лишать клиентов технологических новинок? В статье расскажу, как теперь выглядит работа провайдеров IT-инфраструктуры.

Базовая пирамида IT-инфраструктуры

Ландшафт импортозамещения меняется каждую неделю. Появляются пути, как вернуть то, что мы теперь не можем достать — через «Шелковый путь» или собственное производство. Так, например, появился «Москвич 3», товары из IKEA или с iHerb в «Яндекс.Маркете».

Подобные процессы, в целом, не обошли стороной IT-инфраструктуру, которая представляет собой довольно комплексное понятие. Чаще всего обсуждают кризис в области серверного оборудования или программного обеспечения. Но IT-инфраструктура, по сути, начинается не с серверов, а с земли, где располагаются дата-центры. Именно она — основание базовой пирамиды, которую мы разберем в тексте.

В тексте я рассмотрю каждый уровень — от земли (зданий ДЦ, стройки) до клиентов.

C этой темой я выступил на HighLoad++. Видеоверсия доклада доступна по ссылке.

Земля

В этом блоке, в целом, нет неразрешимых вопросов. Крупных замороженных процессов стройки и развития дата-центров мы не зафиксировали. Бизнес провайдеров IT-инфраструктуры продолжают расти.

Да, с рынка ушли основные производители лифтов, некоторые вендоры красок, но есть альтернативы. Например, «Могилевлифтмаш». Также OTIS возобновила производство в России. Задержки поставок могут достигать полугода, но все доступно.

Дата-центры

Дата-центры — это важная часть любого IT-провайдера, Selectel не исключение. Для того чтобы поддерживать их круглосуточную работу, нужны системы для бесперебойного питания, кондиционирования и так далее. Как правило, названия производителей таких систем явно говорят об их иностранном (чаще всего европейском) происхождении.

Основные вендоры, с которыми мы имели дело последние десять лет, «вышли из чата» — они отваливались один за другим с марта по сентябрь.

Ситуация, конечно, сложная и неприятная. Но, если посмотреть на нее с точки зрения компании, которая ищет решение, оказывается, многие альтернативы у нас есть давным давно. Просто мы их не рассматривали из-за ненадобности.

Дизель-генераторные установки

Самый простой пример многомегаваттного дизель-генератора, кажется, видели все. Это тепловоз.

В составе тепловоза все то же, из чего состоит дизель-генератор для дата-центра. Есть дизель-машина, электрогенератор и потребители. Для нас доступны дизели КАМАЗа, ярославские дизели, также дизельные двигатели ставят на БелАзы.

Нюанс: Вы можете прийти к поставщику и сказать, что вам нужно пять машин, чтобы поставить в дата-центре. Но, скорее всего, получите ответ, что у них простаивает заказ на 2 000 БелАзов и нужно встать в очередь. Впрочем, если немного подождать, все будет.

Источники бесперебойного питания

Когда говорят об ИБП, чаще вспоминают оборудование от APC или Vertiv. Но есть много других вариантов.

Отечественные ИБП в работе видели многие — по крайней мере, жители и гости Москвы.

Встроенный источник бесперебойного питания с запасом электрической энергии есть и в поездах метро. Они способны проехать еще полкилометра на аккумуляторах.

Среди отечественных производителей ИБП — компании ПСМ, «Парус», «Импульс». Их ставят в больницах, госучреждениях, на электростанциях, где в случае отключения нужно поддерживать базовые функции — освещение, охлаждение генераторов и так далее. В существующих дата-центрах вы их не встретите, но в новых ДЦ, возможно, будут стоять именно они.

Системы охлаждения

Мы привыкли, что системы охлаждения — это что-то импортное. Даже бытовые кондиционеры — типа LG, Samsung — производят за рубежом. Для дата-центров использовались те же самые APC, Vertiv, Huawei. А есть ли что-то в России?

На самом деле есть, но мы не привыкли использовать это оборудование. Отечественные разработки есть в тех же рефрижераторных судах, автомобилях-рефрижераторах, которые возят замороженные продукты, и фреоновых кондиционерах.

Использовать это оборудование в дата-центрах можно, и у Selectel есть опыт. Мы пришли к производителям вентиляционных установок и предложили поставить их оборудование в дата-центре. Они удивились, ведь опыта монтажа вентиляционных установок в ЦОДах у них еще не было. На реализацию проекта ушло около года, и вентиляционная техника хорошо показывает себя в работе.

Тестовые зоны открылись еще в 2017–2018 годах, с тех пор мы дорабатываем решение и масштабируем его на другие площадки. А в 2020 году компания Schneider Electric выпустила решение для охлаждения дата-центров на базе вентиляционных машин. Мы же уже реализовали такой подход.

Нюанс: Мы столкнулись с тем, что отечественные или доступные на рынке решения больше и тяжелее тех, что нам предлагали импортные поставщики.

Так, в 2021 году мы сделали строительный проект дата-центра и должны были построить здание определенной несущей способности. Согласно расчетам, крыша должна была выдержать чиллеры весом 10 тонн, а в помещении мы поместили батарейки весом 5 тонн. При переходе на отечественное оборудование выясняется, что на крыше теперь будет не 10, а 15 тонн, а батарейки не влезают в отведенные помещения и весят на 5 тонн больше. Это значит, что строительный проект ДЦ нужно перерабатывать.

С этим можно жить. Но важно быть готовым, что ландшафт поменялся и, возможно, вам придется пересматривать какую-то уже относительно завершенную работу с самого фундамента.

Электрораспределение

Как провайдер IT-инфраструктуры мы не можем пойти к общедоступному строительному бренду типа Leroy Merlin и купить там автоматы защиты на небольшое количество ампер. Нам нужны автоматы защиты, ГРЩ, АВР, рассчитанные на большие токи, — до 6 000 ампер или на напряжение от 10 000 до 20 000 вольт.

Раньше эта потребность закрывалась импортными производителями. Есть отечественные альтернативы, но к таким большим токам и объемам, требованиям по надежности и точности они не готовы. Так, компании IEK и DKC сами честно признают: пока оборудование не дотягивает по качеству до зарубежных аналогов, но они к этому стремятся. Также не стоит забывать про оборудование из Китая: их автоматы защиты становятся лучше из года в год, как и китайские автомобили.

Есть вещь, которая стала для нас неожиданностью. Мы заказываем из Китая множество блоков розеток, провода, корпуса. Оказалось, что блок управления, который стоит посередине или сбоку блока розеток, показывает, какая там нагрузка и температура. Также он включает и выключает розетки при необходимости. И этот блок исключительно импортный. Например, от компании Legrand, которая запретила поставлять в Россию блоки розеток с таким функционалом. Так что мы либо ждем появления аналогов на рынке, либо используем розетки без «умных» блоков управления.

Сетевое оборудование

Рынок маршрутизаторов концентрировался на трех импортных производителях — CISCO, Juniper, Huawei. Еще небольшая доля рынка принадлежит Nokia. Ни одно из этих решений сейчас недоступно или серьезно подорожало.

Про работу с вендорами рассказывали на последнем сетевом митапе — Selectel Network MeetUp. Обсудили, как работать в мультивендорном мире и почему специалистам важно уметь работать не с одним, а с несколькими брендами сетевого оборудования.

А что с импортозамещением? Компании Элтекс, RDP, Q-Tech до сих пор успешно производят оборудование. Да, есть нюансы по софту и применению, но они решаются.

Есть пробелы в поставке оборудования, которые мы пока не решили. Это высокопроизводительные IP-маршрутизаторы, которые мы используем как пограничные роутеры.

Цепочка поставок сетевого оборудования после февраля.

Цены на сетевое оборудование увеличились в 2 раза. Причина проста: изменился логистический путь поставок.

Как было раньше: Я хочу купить коммутатор, рекомендованная розничная цена которого составляет $10 000. Прихожу напрямую к производителю, а он мне дает 40% скидки. Я понимаю, что железо есть на складе и оно будет стоить мне $6 000. Может быть, приедет через два месяца или полгода, но куплю я его за цену, отличающуюся от розничной в лучшую сторону.

Как происходит сейчас: Я хочу купить коммутатор, рекомендованная розничная цена которого составляет $10 000. Допустим, поставщик знает, как привезти оборудование в Россию, и транслирует эту информацию своему представителю. Посреднику дадут скидку максимум 10%, а он, в свою очередь, добавляет к железу стоимость логистики и свою маржу. Когда поставщик ввозит железку в Россию, он платит 20% НДС. Так цена становится уже $12 000.

В итоге стоимость сетевого оборудования изменилась в два раза — с 6 до 12 тысяч долларов. Именно это, вкупе с нестабильным курсом доллара и непостоянной ставкой Центробанка, влияет на ценообразование компании.

Так происходит во многих сферах.

Сервисы на сетевое оборудование

Как было раньше: Были разные варианты покупки сервисов, и это стоило понятных денег — 10–20% от стоимости оборудования.

Мы выбирали между RMA, Next Business Day, Same Business Day. К нам мог приехать инженер с оборудованием или запчастями на смену — чинил на месте.

Как происходит сейчас: Сервисное обслуживание стало либо сильно дороже, либо просто недоступно. Теперь сгоревшую железку нужно вернуть туда, где мы ее купили. А вы помните, что покупаем мы ее через посредников. Привезти в Россию сложно, отправить обратно — еще труднее. Производители тоже противятся таким возвращениям.

Поскольку замена и ремонт оборудования сильно осложнены, приходится больше думать наперед. Все важное оборудование подстраховывать в ЗИП — покупать основную железку и закладывать дубли на быструю смену. Это увеличивает стоимость партии оборудования примерно в 4 раза для компании.

В Selectel мы закупаем крупные партии оборудования — от 10 до 100 железок. В ЗИП закладываем меньше — так, что это несильно влияет на удорожание всей партии.

Серверы

Процессоры

Здесь нам известны три практически монополиста — Intel, AMD, NVIDIA. Что-то из серверного железа еще можно достать. Можно привезти HP, Dell, IBM, Fujitsu и других производителей. Но это будет дороже.

Если вам нужны 1–2 процессора, лучше к производителю с этим запросом не идти. Производителю интересно, если есть заказчик на миллион долларов. Они предлагают увеличить заказ в два раза, чтобы учесть риски, и только тогда начинают работать. Это нужно иметь в виду.

Как же ARM, спросите вы? ARM — британская компания, которая лицензирует архитектуру и документацию. Для России она вряд ли лицензирует производство ARM-серверов или ARM-чипов для российских нужд. Но, к слову, нам в Selectel несколько ARM-чипов достать удалось

Читайте подборку текстов, как мы добавили серверные ARM-процессоры в нашу линейку дедиков:

→ Тестирование и бенчмарки ARM-процессора Ampere Altra

→ Проблемы сборки Arch Linux под ARM-архитектуру и как мы их решали

→ Почему ARM? Перспективы платформы в серверном применении

На отечественных производителей процессоров мало надежд. Для работы в дата-центрах они пока не готовы. Ранее мы изучали «Эльбрусы» и написали об этом на Хабр.

Видеокарты

Недавно вышла десктопная видеокарта NVIDIA 4090 — она хорошая и доступная, ее можно привезти параллельным импортом. При этом стоит это несильно дороже, чем обычно.

С серверным сегментом сложнее: несколько штук в чемодане провезти можно, а вот партию в 200 штук стоимостью $5 000 не выйдет.

Память

Для плашек памяти, казалось бы, тоже много производителей. Но компонентную базу на них делают всего три компании. Спасает, что часть компаний — азиатские: не только американский Micron Technology, но и корейские Samsung и HYNIX.

Еще один плюс в том, что карты памяти делаются в таких объемах, что сто миллионов плашек, ушедших в Россию, становятся совершенно незаметными на фоне миллиардных заказов в Китай, Индию и США. Оптовые заказы из России теряются.

Диски

Такая же ситуация с SSD. Есть три крупных производителя чипов, на базе которых делаются SSD. Это Samsung, Micron и так называемый Kioxia. Последний является совместным предприятием ряда вендоров, которые на базе чипов Kioxia создают свои решения. В целом, SSD очень много, поэтому дефицита в ближайшее время здесь не будет. Они будут поставляться, в том числе параллельным импортом.

ПО и лицензии

Самая тяжелая ситуация сложилась на рынке программного обеспечения — затронут и консьюмерский и серверный сегменты. Ушли многие вендоры. Для новых ноутбуков, купленных в РФ, лицензированный Windows уже не купить. Школы и университеты сидят на Microsoft Office — лицензии не продлевается, а замены ПО нет. Какое здесь будет решение, покажет время.

Есть софт в консьюмерском сегменте: Adobe Photoshop, Adobe Light Room, Autodesk, AutoCAD. Оплачивать их с российских карт мы уже не можем. Для этого нужно заводить банковские аккаунты в известных странах — Казахстан, Узбекистан, Турция и других. Большинство компании, скорее всего, уже решили этот вопрос.

Серверный софт — Microsoft Office Windows, Oracle — покинули российский рынок. Его нужно замещать, и это задача, которую предстоит решать на протяжении нескольких ближайших лет. Либо переходить на open source — альтернатива, которую уже реализовывали или начали реализовывать компании.

Специалисты

Многие компании уехали вместе с сотрудниками — ни для кого это не новость. Уехали как зарубежные, так и российские компании, которые работали на иностранный рынок, — Jet Brains, Luxoft, EPAM и другие. Они забрали с собой лучших разработчиков, SRE-инженеров, UX-специалистов, маркетологов.

По некоторым вакансиям сильно возросла конкуренция, потому что многие сервисы — такси, банковский сектор, ритейл — остались и снижения спроса в своих сервисах они не видят.

Многие ведущие специалисты уехали за рубеж, осталось очень много джуниоров. Но джуны — это долгосрочная перспектива. Если есть возможность, учитесь растить младших специалистов, которые через год-два смогут вырасти в мидлов. Основная конкуренция за специалистов еще впереди.

Выводы

Строить IT-инфраструктуру по-прежнему можно и нужно. Российские компании продолжают развивать сервисы, которые нужны пользователями, а мы им помогаем. Да, стало сложнее и дороже, но выходы и альтернативы есть. Капитальные расходы выросли как минимум в два раза, а операционные — на 20–30%. И, как вы могли понять из текста, не только курс доллара этому виной, но и другие факторы.

Принцип работы протокола STP / Хабр

Причина создания STP

Причиной создания протокола STP стало возникновение петель на коммутаторах. Что такое петля? Определение петли звучит так:

Петля коммутации (Bridging loop, Switching loop) — состояние в сети, при котором происходит бесконечная пересылка фреймов между коммутаторами, подключенными в один и тот же сегмент сети.

Из определения становится ясно, что возникновение петли создает большие проблемы — ведет к перегрузке свитчей и неработоспособности данного сегмента сети. Как возникает петля? На картинке ниже приведена топология, при которой будет возникать петля при отсутствии каких-либо защитных механизмов:

Возникновение петли при следующих условиях:

1. Какой-либо из хостов посылает бродкаст фрейм:

1. К примеру, VPC5 отправляет пакет с бродкастовым адресом назначения.
2. Switch2 приняв данный пакет, должен отправить его через все порты, кроме порта, с которого пришел данный пакет. Пакет отправится через порты Gi0/0, Gi1/0.
3. Коммутаторы Switch3, Switch4 приняв данный пакет также должны будут его разослать пакет. Таким образом Switch3, получивший пакет от Switch2 отправит его Switch4, а Switch4 отправит его Switch3.
4. Далее, Switch3 получив пакет от Switch4, отправит его Switch2, а Switch4 получив пакет от Switch3, отправит его также Switch2. Тем самым, мы приходим к шагу 1) и она будет продолжаться бесконечно. Также все усугубляется тем, что на 4) шаге Switch2 будет иметь уже два экземляра фрейма, так как получит их и от Switch3, и от Switch4.

Шаги 1) — 4) будут повторяться бесконечно и на коммутоторах это происходит в долю секунды. Также образование петли приводит к тому, что постоянно будет меняться таблица мак-адресов на коммутаторах и мак-адрес отправителя VPC5 будет постоянно приписываться то к интерфейсу Gi0/0, то Gi1/0 или же Gi0/2( если в этот момент VPC5 будет отправлять другие пакеты). Такой цикл приведет к некорректной работе сети и всех коммутаторов. А отправка бродкастовых пакетов для хостов — это обычное дело, в качетсве примера протокол ARP.

2. Также петля может образоваться и без отправки бродкаст фрейма.

1. К примеру, VPC5 отправляет фрейм с юникастовым мак-адресом назначения.
2. Возможна ситуация, что мак-адрес назначения отсутствует в таблице мак-адресов коммутаторов. В данном случае, коммутатор будет пересылать пакет через все порты, кроме порта с которого получил данный фрейм. И получаем такую же ситуацию, как и с бродкаст фреймом.
3. Ниже мы будем рассматривать протокол STP на коммутаторах Cisco. На них используется STP отдельно для каждого vlan-а, протокол PVST+. У нас всего один vlan, поэтому смысл от этого не меняется.

Основы STP

Принцип работы данного протокола построен на том, что все избыточные каналы между коммутаторами логически блокируются и трафик через них не передается. Для построения топологии без избыточных каналов строится дерево (математический граф). Чтобы построить такое дерево вначале необходимо определить корень дерева, из которого и будет строиться граф. Поэтому первым шагом протокола STP является определение корневого коммутатора (Root Switch). Для определения Root Switch-a, коммутаторы обмениваются сообщениями BPDU. В общем, протокол STP использует два типа сообщений: BPDU — содержит информацию о коммутаторах и TCN — уведомляет о изменении топологии. Рассмотрим BPDU более детально. Про TCN более подробно поговорим ниже. При включении STP на коммутаторах, коммутаторы начинают рассылать BPDU сообщения. В данных сообщениях содержится следующая информация:

Фрейм BPDU имеет следующие поля:

• Идентификатор версии протокола STA (2 байта). Коммутаторы должны поддерживать одну и ту же версию протокола STA
• Версия протокола STP (1 байт)
• Тип BPDU (1 байт). Существует 2 типа BPDU — конфигурационный и уведомление о реконфигурации
• Флаги (1 байт)
• Идентификатор корневого коммутатора (8 байт)
• Стоимость маршрута до корневого свича (Root Path Cost)
• Идентификатор отправителя (Bridge ID) (8 байт)
• Идентификатор порта, из которого отправлен данный пакет (Port ID) (2 байта)
• Время жизни сообщения (2 байта). Измеряется в единицах по 0,5 с, служит для выявления устаревших сообщений
• Максимальное время жизни сообщения (2 байта). Если кадр BPDU имеет время жизни, превышающее максимальное, то кадр игнорируется коммутаторами
• Интервал hello (2 байт), интервал через который посылаются пакеты BPDU
• Задержка смены состояний (2 байта). Минимальное время перехода коммутатора в активное состояние

Основные поля, которые требуют особого внимания следующие:

• Идентификатор отправителя (Bridge ID)
• Идентификатор корневого свича (Root Bridge ID)
• Идентификатор порта, из которого отправлен данный пакет (Port ID)
• Стоимость маршрута до корневого свича (Root Path Cost)

Для определения корневого коммутатора используется индентификатор коммутатора — Bridge ID. Bridge ID это число длиной 8 байт, которое состоит из Bridge Priority (приоритет, от 0 до 65535, по умолчанию 32768) и MAC-адреса устройства. Корневым коммутатором выбирается коммутатор с самым низким приоритетом, если приоритеты равны, то сравниваются MAC-адреса (посимвольно, тот который меньше, тот побеждает).

Вот вывод информации о Bridge ID с коммутатора Switch2 из первой картинки. Priority — 32769 ( по умолчанию 32768 + Vlan Id), MAC-адреса — Address 5000.0001.0000:

Представим картину, коммутаторы только включились и теперь начинают строить топологию без петель. Как только коммутаторы загрузились, они приступают к рассылке BPDU, где информируют всех, что они являются корнем дерева. В BPDU в качестве Root Bridge ID, коммутаторы указывают собственный Bridge ID. Например, Switch2 отправляет BPDU коммутатору Switch4, а Switch4 отправляет к Switch2. BPDU от Switch2 к Switch4:

BPDU от Switch4 к Switch2:

Как видим из Root Identifier, оба коммутотара друг другу сообщают, что именно он является Root коммутатором.

Выбор корневого коммутатора

Пока топология STP не построена, обычный трафик не передается из-за специальных состояний портов, о которых будет сказано ниже. Итак, Switch4 получается BPDU от Switch2 и изучает данное сообщение. Switch4 смотрит в поле Root Bridge ID и видит, что там указан другой Root Bridge ID, чем в том сообщении, которое отправил сам Switch4. Он сравнивает Root Bridge ID в данном сообщении со своим Root Bridge ID и видит, что хоть Priority одинаковые, но MAC-адрес данного коммутатора (Switch2) лучше (меньше), чем у него. Поэтому Switch4 принимает Root Bridge ID от Switch2 и перестает отправлять свои BPDU, а только слушает BPDU от Switch2. Порт, на котором был получен наилучший BPDU становится Root Port-ом. Switch2 также получив BPDU от Switch4, проводит сравнение, но в этом случае поведение Switch2 не меняется, так как полученный BPDU содержит худший Root Bridge ID, чем у Switch2. Таким образом, между Switch2 и Switch4 был определен корневой коммутатор. По аналогичной схеме происходит выбор корневого коммутатора между Switch2 и Switch3. Порты Gi0/0 на Switch3 и Switch4 становятся Root Port — порт, который ведет к корневому коммутатору. Через данный порт коммутаторы Switch3 и Switch4 принимают BPDU от Root Bridge. Теперь разберемся, что произойдет с каналом между Switch3 и Switch4.

Блокирование избыточных каналов

Как мы видим из топологии, канал между Switch3 и Switch4 должен быть заблокирован для предотвращения образования петель. Как STP справляется с этим?

После того, как выбран Root Bridge, Switch3 и Switch4 перестают отправлять BPDU через Root Port-ы, но BPDU, полученные от Root Bridge, они пересылают через все свои остальные активные порты, при этом изменив в данных BPDU только следующие поля:

• Идентификатор отправителя (Bridge ID) — заменяется на свой идентификатор.
• Идентификатор порта, из которого отправлен данный пакет (Port ID) — изменяется на идентификатор порта, с которого будет отправлен BPDU.
• Стоимость маршрута до корневого свича (Root Path Cost) — вычисляется стоимость маршрута относительно самого коммутатора.

Таким образом, Switch3 получает cледующий BPDU от Switch4:

А Switch4 от Switch3 получает такой BPDU:

После обмена такими BPDU, Switch3 и Switch4 понимают, что топология избыточна. Почему коммутаторы понимают, что топология избыточна? И Switch3, и Switch4 в своих BPDU сообщают об одном и том же Root Bridge. Это означает, что к Root Bridge, относительно Switch4, существует два пути — через Switch2 и Switch3, а это и есть та самая избыточность против которой мы боремся. Также и для Switch3 два пути — через Switch2 и Switch4. Чтоб избавиться от этой избыточности

необходимо заблокировать канал между Switch4 и Switch3. Как это происходит?

Выбор на каком коммутатоторе заблокировать порт происходит по следующей схеме:

• Меньшего Root Path Cost.
• Меньшего Bridge ID.
• Меньшего Port ID.

В данной схеме Root Path Cost играет более важную роль, чем Bridge ID. Раньше я думал, что данный выбор происходит аналогично выбору Root коммутатора и был удивлен, что, например, в такой топологии будет блокироваться не порт на коммутаторе с самым плохим приоритетом:

Здесь как оказалось заблокируется порт Gi 0/1 на коммутаторе Sw2. В данном голосовании определяющим становится Root Path Cost. Вернемся к нашей топологии. Так как путь до Root Bridge одинаковый, то в данном выборе побеждает Switch3, так как его priority равны, сравниваются Bridge ID. У Switch3 — 50:00:00:02:00:00, у Switch4 — 50:00:00:03:00:00. У Switch3 MAC-адрес лушче (меньше). После того, как выбор сделан, Switch4 перестает переслать какие-либо пакеты через данный порт — Gi1/0, в том числе и BPDU, а только слушает BPDU от Switch3. Данное состояние порта в STP называется Blocking(BLK). Порт Gi1/0 на Switch3 работает в штатном режиме и пересылает различные пакеты при необходимости, но Switch4 их сразу отбрасывает, слушая только BPDU. Таким образом, на данном примере мы построили топологию без избыточных каналов. Единственный избыточный канал между Switch3 и Switch4 был заблокирован при помощи перевода порта Gi1/0 на Switch4 в специальное состояние блокирования — BLK. Теперь более детально разберем механизмы STP.

Состояния портов

Мы говорили выше, что, например, порт Gi1/0 на Switch4 переходит в специальное состояние блокирования — Blocking. В STP существуют следующие состояния портов:

Blocking — блокирование. В данном состоянии через порт не передаются никакие фреймы. Используются для избежания избыточности топологии.

Listening — прослушивание. Как мы говорили выше, что до того, пока еще не выбран корневой коммутатор, порты находятся в специальном состоянии, где передаются только BPDU, фреймы с данными не передаются и не принимаются в этом случае. Состояние Listening не переходит в следующее даже, если Root Bridge определен. Данное состояние порта длится в течении Forward delay timer, который, по умолчанию, равен 15. Почему всегда надо ждать 15 секунд? Это вызвано осторожностью протокола STP, чтоб случайно не был выбран некорректный Root Bridge. По истечению данного периода, порт переходит в следующее состояние — Learning.

Learning — обучение. В данном состояние порт слушает и отправляет BPDU, но информацию с данными не отправляет. Отличие данного состояния от Listening в том, что фреймы с данными, который приходят на порт изучаются и информация о MAC-адресах заносится в таблицу MAC-адресов коммутатора. Переход в следующее состояние также занимает Forward delay timer.

Forwarding — пересылка. Это обычное состояние порта, в котором отправляются и пакеты BPDU, и фреймы с обычными данными. Таким образом, если мы пройдемся по схеме, когда коммутаторы только загрузились, то получается следующая схема:

1. Коммутатор переводит все свои подключенные порты в состояние Listening и начинает отправлять BPDU, где объявляет себя корневым коммутатором. В этот период времени, либо коммутатор остается корневым, если не получил лучший BPDU, либо выбирает корневой коммутатор. Это длится 15 секунд.
2. После переходит в состояние Learning и изучает MAC-адреса. 15 секунд.
3. Определяет какие порты перевести в состояние Forwarding, а какие в Blocking.

Роли портов

Помимо состояний портов, также в STP нужны определить портам их роли. Это делается для того, чтоб на каком порте должен ожидаться BPDU от корневого коммутатора, а через какие порты передавать копии BPDU, полученных от корневого коммутатора. Роли портов следующие:

Root Port — корневой порт коммутатора. При выборе корневого коммутатора также и определяется корневой порт. Это порт через который подключен корневой коммутатор. Например, в нашей топологии порты Gi0/0 на Switch3 и Switch4 являются корневыми портами. Через данные порты Switch3 и Switch4 не отправляют BPDU, а только слушают их от Root Bridge. Возникает вопрос — как выбирается корневой порт? Почему не выбран порт Gi1/0? Через него ведь тоже можно иметь связь с коммутатором? Для определения корневого порта в STP используется метрика, которая указывает в поле BPDU — Root Path Cost (стоимость маршрута до корневого свича). Данная стоимость определяется по скорости канала.

Switch2 в своих BPDU в поле Root Path Cost ставит 0, так как сам является Root Bridge. А вот, когда Switch3, когда отправляет BPDU к Switch4, то изменяет данное поле. Он ставит Root Path Cost равным стоимости канала между собой и Switch2. На картинке BPDU от Switch3 и Switch4 можно увидеть, что в данном поле Root Path Cost равен 4, так как канал между Switch2 и Switch3 равен 1 Gbps. Если количество коммутаторов будет больше, то каждый следующий коммутатор будет суммировать стоимость Root Path Cost. Таблица Root Path Cost.

Designated Port — назначенный порт сегмента. Для каждого сегмента сети должен быть порт, который отвечает за подключение данного сегмента к сети. Условно говоря, под сегментом сети может подразумеваться кабель, который осуществляет подключение данного сегмента. Например, порты Gi0/2 на Switch2, Switch4 подключают отдельные сегменты сети, к которым ведет только данный кабель. Также, например, порты на Root Bridge не могут быть заблокированы и все являются назначенными портами сегмента. После данного пояснения можно дать более строгое определения для назначенных портов:

Designated Port (назначенный) — некорневой порт моста между сегментами сети, принимающий трафик из соответствующего сегмента. В каждом сегменте сети может быть только один назначенный порт. У корневого коммутатора все порты — назначенные.

Также важно заметить, что порт Gi1/0 на Switch3 также является назначенным, несмотря на то, что данный канал связи заблокированным на Switch4. Условно говоря, Switch3 не имеет информации о том, что на другом конце порт заблокирован.

Nondesignated Port — неназначенный порт сегмента. Non-designated Port (неназначенный) — порт, не являющийся корневым, или назначенным. Передача фреймов данных через такой порт запрещена. В нашем примере, порт Gi1/0 является неназначенным.

Disabled Port — порт который находится в выключенном состоянии.

Таймеры и сходимость протокола STP

После того, как STP завершил построение топологии без петель, остается вопрос — Как определять изменения в сети и как реагировать на них? Сообщения BPDU при помощи которых работает STP, рассылаются Root Bridge каждые 2 секунды, по умолчанию. Данный таймер называется Hello Timer. Остальные коммутаторы получив через свой root port данное сообщение пересылают его дальше через все назначенные порты. Выше сказано более подробно какие изменения происходят с BPDU при пересылки его коммутаторов. Если в течении времени, определенным таймером Max Age (по умолчанию — 20 секунд), коммутатор не получил ни одного BPDU от корневого коммутатора, то данное событие трактуется как потеря связи с Root Bridge. Для того, чтобы более корректно описать сходимость протокола необходимо изменить нашу топологию и поставить между коммутаторами хабы. Мы добавили хабы, чтоб при выходе из строя одного из коммутаторов или выхода из строя линка, другие коммутаторы не определяли это по падению линка, а использовали таймеры:

Перед тем, как начать также важно рассказать подробнее о другом типе сообщения STP — TCN. TCN рассылается коммутаторами в случае изменения топологии — как только на каком-либо коммутаторе изменилась топология, например, изменилось состояние интерфейса. TCN отправляется коммутатором только через Root Port. Как только корневой коммутатор получит TCN, он сразу меняет параметр времени хранения MAC-адресов в таблице с 300 секунд до 15 (для чего это делается будет сказано ниже) и в следующем BPDU, Root Switch проставляет флаг — TCA ( Topology Change Acknledgement ), который отправляется коммутатору отправившем TCN для уведовления о том, что TCN был получен. Как только TCN достигает Root Bridge, то он рассылает специальный BPDU, который содержится TCN флаг по всем остальным интерфейсам к другим коммутаторам. На картинке показана структура TCN:

TCN был включен в STP, чтоб некорневые коммутаторы могли уведовлять об изменении в сети. Обычными BPDU они этого делать не могут, так как некорневые коммутаторы не отправляют BPDU. Как можно заметить структура TCN не несет в себе никакой информации о том, что именно и где изменилось, а просто сообщает что где-то что-то изменилось. Теперь перейдем к рассмотрению вопроса о сходимости STP.

Посмотрим, что произойдет если мы отключим интерфейс Gi0/1 на Switch2 и посмотрим при помощи каких механизмов перестроится дерево STP. Switch3 перестанет получать BPDU от Switch2 и не будет получать BPDU от Switch4, так как на Switch4 данный порт заблокирован. У Switch3 уйдет 20 секунд ( Max Age Timer ), чтоб понять потерю связи с Root Bridge. До этого времени, Gi0/0 на Switch3 будет находится в состоянии Forwarding с ролью Root Port. Как только истечет Max Age Timer и Switch3 поймет потерю связи, он будет заново строить дерево STP и как это свойственно STP начнет считать себя Root Bridge. Он отправит новый BPDU, где укажет самого себя в качестве Root Bridge через все активные порты, в том числе и на Switch4. Но таймер Max Age, истекший на Switch3 также истек и на Switch4 для интерфейса Gi1/0. Данный порт уже 20 секунд не получал BPDU и данный порт перейдет в состояние LISTENING и отправит BPDU c указанием в качестве Root Bridge — Switch2. Как только Switch3 примет данный BPDU, он перестанет считать себя Root Bridge и выберет в качестве Root Port — интерфейс Gi1/0. В этот момент Switch3 также отправит TCN через Gi1/0, так как это новый Root Port. Это приведет к тому, что время хранения MAC-адресов на коммутаторах уменьшится с 300 секунд до 15. Но на этом работоспособность сети не восстановится полностью, необходимо подождать пока порт Gi1/0 на Switch4 пройдет состояние Listening, а затем Learning. Это займет время равное двум периодам Forward delay timer — 15 + 15 = 30 секунд. Что мы получаем — при потери связи Switch3 ждет пока истечет таймер Max Age = 20 секунд, заново выберает Root Bridge через другой интерфейс и ждет еще 30 секунд пока ранее заблокированный порт перейдет в состояние Forwarding. Суммарно получаем, что связь между VPC5 и VPC6 прервется на 50 секунд. Как было сказано несколькими предложениями выше при изменение Root Port с Gi0/0 на Gi1/0 на Switch3 был отправлен TCN. Если бы этого не произошло, то все MAC-адреса, изученные через порт Gi 0/0, оставались бы привязаны к Gi0/0. Например, MAC-адрес VPC5 и VPC7 несмотря на то, что STP завершит сходимость через 50 секунд, связь между VPC6 и VPC5, VPC7 не была бы восстановлена, так как все пакеты предназначенные VPC5, VPC7 отправлялись через Gi0/0. Надо было бы ждать не 50 секунд, а 300 секунд пока таблица MAC-адресов перестроится. При помощи TCN, время хранение изменилось с 300 секунд до 15 и пока интерфейс Gi1/0 на Switch4 проходил состояния Listening, а затем Learning и данные о MAC-адресах обновятся.

Также интересен вопрос, что произойдет, если мы заново включим интерфейс Gi0/1 на Switch2? При включение интерфейса Gi0/1, он, как и подобает, перейдет в состояние Listening и начнет рассылать BPDU. Как только Switch3 получит BPDU на порту Gi0/0, то сразу перевыберет свой Root Port, так как тут Cost будет наименьшем и начнет пересылать траффик через интерфейс Gi0/0, но нам необходимо подождать пока интерфейс Gi0/1 пройдет состояния Listening, Learning до Forwarding. И задержка будет уже не 50 секунд, а 30.

В протоколе STP также продуманы различные технологии для оптимизации и безопасности работы протокола STP. Более подробно в данной статье рассматривать их не буду, материалы по поводу них можно найти в избытке на различных сайтах.

Wi-Fi маршрутизатор Netgear Отзывы | PCMag

Последние обзоры Wi-Fi-маршрутизаторов Netgear

Маршрутизатор Netgear Nighthawk RAXE500 использует новейшую технологию Wi-Fi 6E, что позволяет передавать данные в диапазоне 6 ГГц, но за раннее внедрение взимается огромная плата.

499,99 долларов США

на Амазонке

(Открывается в новом окне)

21.04.2021
К
Джон Р. Делани

Netgear Nighthawk XR1000 — это маршрутизатор Wi-Fi 6, предназначенный для игр. Он обеспечивает высокую пропускную способность и скорость передачи файлов, но ему не хватает некоторых функций, которые вы найдете в моделях с аналогичной ценой.

238,00 долларов США

на Амазонке

(Открывается в новом окне)

19.11.2020
К
Джон Р. Делани

Маршрутизатор Netgear Nighthawk AX12 с 12 потоками Wi-Fi 6 (RAX120) — это мощный, хотя и дорогой маршрутизатор, использующий новейшую технологию 802.11ax для обеспечения высокой пропускной способности и скорости передачи файлов.

262,31 доллара США

на Амазонке

(Открывается в новом окне)

04.12.2019
К
Джон Р. Делани

Netgear Nighthawk AX8 RAX80 — это маршрутизатор Wi-Fi 6, обеспечивающий высокую пропускную способность и отличную производительность при передаче файлов.

450,00 долларов США

на Амазонке

(Открывается в новом окне)

11.04.2019
К
Джон Р. Делани

NightHawk Pro Gaming XR700 от Netgear — это мощный, многофункциональный и дорогой трехдиапазонный маршрутизатор, разработанный для геймеров.

$853,94

на Амазонке

(Открывается в новом окне)

20.12.2018
К
Джон Р. Делани

Netgear Nighthawk AC2300 (R7000P) — это двухдиапазонный маршрутизатор, который предлагает хорошую пропускную способность на близком расстоянии и несколько вариантов сетевой безопасности и родительского контроля на основе подписки, но его производительность на большом расстоянии могла бы быть лучше.

249,98 долларов США

на Амазонке

(Открывается в новом окне)

16. 08.2018
К
Джон Р. Делани

Netgear Nighthawk Pro Gaming XR500 — это двухдиапазонный маршрутизатор AC2600 с удобным интерфейсом управления и надежной пропускной способностью на близком расстоянии.

199,99 долларов США

в Ньюэгг

(Открывается в новом окне)

10.05.2018
К
Джон Р. Делани

Netgear Nighthawk X6S R8000P — это многодиапазонный маршрутизатор, предлагающий множество настроек управления и высокую пропускную способность, но его производительность при передаче файлов могла бы быть лучше, особенно за такую ​​цену.

299,99 долларов США

на Амазонке

(Открывается в новом окне)

21.03.2018
К
Джон Р. Делани

4,5

Выбор редакции

Netgear Nighthawk X10 R9000 с поддержкой 802.11ad и MU-MIMO обеспечивает невероятную пропускную способность на частоте 5 ГГц и еще более высокую скорость на частоте 60 ГГц. Несмотря на высокую цену, это отличный способ обеспечить безопасность вашей беспроводной сети в будущем.

$342,95

в Ньюэгг

(Открывается в новом окне)

28.02.2017
К
Джон Р. Делани

Интеллектуальный Wi-Fi-маршрутизатор Netgear AC1200 относительно доступен по цене и предлагает двухдиапазонную технологию 802.11ac, порт USB и широкий выбор настроек управления.

$38.00

на Амазонке

(Открывается в новом окне)

27.07.2016
К
Джон Р. Делани

Интеллектуальный Wi-Fi-маршрутизатор Netgear Nighthawk X4S (R7800) обеспечивает высокую пропускную способность 5 ГГц и MU-MIMO, а также предлагает множество вариантов управления в удобной веб-консоли.

329,95 долларов США

на Амазонке

(Открывается в новом окне)

15.03.2016
К
Джон Р. Делани

Аппаратное обеспечение нового поколения интеллектуального WiFi-маршрутизатора Netgear Nighthawk X4 AC2350 не соответствует пропускной способности и радиусу действия следующего поколения.

179,95 долларов США

на Амазонке

(Открывается в новом окне)

25.09.2014
К
Самара Линн

Трехдиапазонный Wi-Fi-маршрутизатор Netgear Nighthawk X6 AC3200 демонстрирует впечатляющий дебют, подтверждая трехдиапазонную концепцию за счет ловкой обработки нескольких беспроводных устройств в одной сети.

219,99 долларов США

в Ньюэгг

(Открывается в новом окне)

26.08.2014
К
Самара Линн

4.0

Выбор редакции

Отличная пропускная способность и дальность действия в диапазоне 5 ГГц, множество функций (включая полноценный VPN) и классное имя — все это делает Nighthawk одним из лучших маршрутизаторов Netgear, которые мы видели за последнее время, несмотря на несколько неприятностей.

$143,99

по лучшей цене

(Открывается в новом окне)

25.10.2013
К
Самара Линн

Большой и мощный двухдиапазонный маршрутизатор Netgear обеспечивает самую высокую пропускную способность, которую мы когда-либо видели, в диапазоне 2,4 ГГц, который, вероятно, используют многие из ваших устройств бытовой электроники.

179,99 долларов США

на Амазонке

(Открывается в новом окне)

12.12.2011
К
Самара Линн

4,5

Выбор редакции

Один из самых быстрых беспроводных маршрутизаторов, протестированных нами на сегодняшний день, Netgear N600 подходит для технически подкованных потребителей или малого бизнеса. Набор функций этого превосходного маршрутизатора подходит как для опытных домашних пользователей, так и для самых технических ИТ-специалистов

06.03.2011
К
Самара Линн

Этот маршрутизатор предлагает простой в использовании интерфейс управления и достойную производительность, которая держится на больших расстояниях, но имеет несколько дополнительных функций.

10.04.2007
К
Роберт П. Липшуц

Сверхбыстрый беспроводной маршрутизатор Linksys Max Stream EA7500 Улучшена скорость моего домашнего Wi-Fi

Команда Insider Picks пишет о вещах, которые, по нашему мнению, вам понравятся. Business Insider имеет партнерские отношения, поэтому мы получаем долю дохода от вашей покупки.

Амазонка

• На рынке представлены сотни высококачественных маршрутизаторов, и если вы используете модель, предоставленную вашим интернет-провайдером, вы многое упускаете.
• Когда вы перейдете к гайкам и болтам Linksys Max Stream EA7500, он наполнен множеством функций, которые позволяют вам использовать несколько устройств, работающих с приложениями с высокой пропускной способностью.
• Мне особенно нравится, что приложение Linksys дает вам контроль над тем, какие устройства имеют приоритет, когда устройства могут получить доступ в Интернет, к каким веб-сайтам они могут получить доступ, а также управлять паролями.
• Хотя Max Stream EA7500 не самый дешевый на рынке, он имеет среднюю цену (в настоящее время 139 долларов США)..99 на Amazon), предоставляя при этом высококачественные функции.

LoadingЧто-то загружается.

Спасибо за регистрацию!

Получайте доступ к своим любимым темам в персонализированной ленте, пока вы в пути.

Если вы читаете это, скорее всего, у вас проблемы с Wi-Fi. Если я полностью ошибаюсь в своем предположении, и с вашим Wi-Fi все в порядке, то вам не нужен новый маршрутизатор. Но если надежность, скорость и дальность действия вашего текущего устройства в лучшем случае сомнительны, то вы не пожалеете о вложениях в обновление.

Wi-Fi-маршрутизатор — это один из тех технических гаджетов, характеристики и скорость которого значительно улучшаются каждые несколько лет. Таким образом, если вашему маршрутизатору больше пары лет или вы используете маршрутизатор, предоставленный вашим интернет-провайдером, вы почувствуете улучшение качества своей жизни, когда купите новую модель.

Я взял в руки роутер Linksys AC1900 Max Stream EA7500, когда мой трехлетний Linksys EA6350 сдох, и никакими обычными ухищрениями не удалось его оживить. Мой домашний офис находится всего в двадцати футах от маршрутизатора, но на пути есть стены и другие препятствия. Мне нужно было что-то с силой. Основываясь на отзывах экспертов и покупателей, включая более 8000 пятизвездочных оценок на Amazon, я выбрал Max Stream EA7500.

Есть несколько функций, которые оценят даже начинающие пользователи.

EA7500 использует технологию MU-MIMO. Эта аббревиатура означает «многопользовательский, множественный вход, множественный выход». По сути, это просто сбивающий с толку способ сказать, что множество пользователей могут одновременно выполнять действия с высокой пропускной способностью, такие как загрузка файлов, прослушивание музыки, онлайн-игры или потоковое воспроизведение HD-фильмов, без буферизации или задержки. Мы проверили это в нашем доме с тремя устройствами, транслирующими потоковое видео, и одним, играющим в игры, и у нас не было никаких проблем.

Еще одна полезная функция этого маршрутизатора 802.11ac — два диапазона Wi-Fi. EA7500 работает в диапазонах 2,4 ГГц и 5 ГГц. Канал 2,4 ГГц лучше всего подходит для ваших более медленных или старых устройств, а канал 5 ГГц лучше всего подходит для новых устройств с беспроводной сетью переменного тока. В своем доме я обозначил сеть 5 ГГц как «папину сеть» и держал ее в секрете от остальных членов семьи, чтобы обеспечить оптимальные скорости.

Маршрутизатор EA7500 оснащен тремя внешними антеннами и использует технологию формирования луча. Благодаря формированию луча, маршрутизатор не просто создает широкую сеть Wi-Fi вокруг устройства, а направляет сигналы непосредственно на устройства, которые к нему обращаются. Это увеличивает радиус действия вашей беспроводной сети и улучшает использование пропускной способности беспроводной сети.

На практике я обнаружил, что формирование луча увеличивает радиус действия маршрутизатора. У нас есть «тещина» комната над нашим гаражом, которая находится примерно в 40 футах от маршрутизатора с большим количеством дерева, металла и других материалов между ними. Несмотря на эти барьеры, беспроводные сигналы по-прежнему достаточно сильны для потоковой передачи Netflix.

Установка была невероятно простой. Через 10 минут после открытия коробки с Amazon мой рабочий компьютер снова был в сети. Для простоты я использовал те же сетевые имена и пароли, что и мой старый маршрутизатор. Я решил загрузить приложение Linksys на свой телефон, чтобы легко отслеживать, какие устройства находятся в сети, какие устройства имеют приоритет, и блокировать доступ в Интернет в определенные часы для двух моих сыновей.

Моя любимая функция приложения Linksys — это богоподобная сила, которая дает мне возможность использовать маршрутизатор для блокировки Интернета на любом устройстве. Если у вас есть подросток, который предпочитает League of Legends сну, это обязательно. Чтобы быть «невеселым родителем», вы просто открываете приложение, выбираете устройство, которым хотите управлять, и выбираете, в какие часы вы хотите заблокировать доступ в Интернет. Вы также можете заблокировать определенные веб-сайты, например, когда у вас есть крайний срок для проверки маршрутизатора и вы не хотите отвлекаться на социальные сети.

Самая сложная часть использования приложения — определить, какое устройство какое. Например, у нас в доме три телефона Android, и в приложении сразу не видно, какой телефон кому принадлежит. Это заняло немного проб и ошибок.

Приоритизация устройств — еще одна полезная функция. Вы можете указать до трех устройств, которые будут иметь приоритет в использовании подключения к Интернету перед любыми другими компьютерами. При подключении приоритетные гаджеты получают лучший доступ, а все остальные просто получают то, что осталось.

Еще одним преимуществом приложения является то, что вы можете настроить гостевой доступ. Это дает посетителям доступ к вашему интернет-соединению, не позволяя им получить доступ к подключенным устройствам, внешнему хранилищу или другим компьютерам.

Тем из вас, кому нужны цифры и характеристики, следует знать, что Linksys Max Stream EA7500 поддерживает двухдиапазонную комбинированную скорость до 1,9 Гбит/с. Есть порты USB 3.0 и 2.0, а также четыре гигабитных порта Ethernet для подключения по проводу для высокоскоростной передачи данных.

В общем, если вы ищете простой в использовании и установке беспроводной маршрутизатор, который обеспечит скорость интернета, необходимую для бесперебойной потоковой передачи видео и игр, вы не ошибетесь, выбрав Linksys. Max Stream EA7500 обойдется вам всего в 140 долларов.

Купить двухдиапазонный беспроводной маршрутизатор Linksys AC1900 (Max Stream EA7500) на Amazon за 139,99 долларов США

Джеймс Мозги

Старший репортер отдела внутренних обзоров

Джеймс — старший репортер Insider Reviews, специализирующийся на снах, ОВКВ, виски и кухонной технике.
Он протестировал более 70 матрасов от таких стартапов, как Casper, и старых брендов, таких как Tempur-Pedic, используя свой опыт в экспериментальной психологии для разработки объективных тестов и оценки комфорта, поддержки, передачи движения и многого другого. Он является автором нашего путеводителя по лучшим матрасам.
Помимо того, что Джеймс является экспертом по матрасам Insider Reviews, он широко освещал роботы-пылесосы, кондиционеры, очистители воздуха и многое другое в сфере HVAC. За эти годы он протестировал более 40 роботов-пылесосов таких брендов, как iRobot и Roborock, и ему не привыкать поддерживать в своем доме холодную температуру 60 градусов по Фаренгейту в течение нескольких недель подряд, и все это во имя тестирования кондиционеров.
Он многогранный писатель, освещающий все, от здоровья и фитнеса до потребительских технологий. Его миссия состоит в том, чтобы помочь людям получить максимальную отдачу от своих денег, помогая им принимать обоснованные решения о покупке.
В настоящее время Джеймс живет в Лансинге, штат Мичиган, где он живет в трехэтажном голландском колониальном доме «The Barn Mansion» со своей женой, двумя детьми, полосатым котом и буйным крысиным терьером.
Когда Джеймс не тестирует продукты и не пишет для Insider, он помогает вести популярную местную группу в Facebook Lansing Foodies.
Ниже приведены некоторые из его работ:

• 16 лучших матрасов для хорошего сна, проверенных и проверенных экспертами по сну
• 5 лучших роботов-пылесосов для чистки ковров и деревянных полов
• Гуру путешествий Рик Стивс никогда не проверяет сумку. Вот 25 вещей, которые он всегда берет с собой.
• Я посетил 8 винокурен на Кентукки Бурбон Трейл – вот 16 лучших сортов виски, которые я пробовал, и где их купить
• 10 лучших сортов бурбона, которые мы рекомендуем после дегустации более 100 сортов бурбона и общения с экспертами
• Я протестировал 11 кастрюль быстрого приготовления и электрических скороварок, и эти 4 оказались лучше остальных

Контактная информация: jbrains@insider.