NVMe-накопители в разных режимах работы интерфейса PCI Express: практическое исследование масштабируемости интерфейса в задачах передачи данных. PCI-устройства - что это? PCI-видеокарта

HighPoint RocketRAID 2320: второй RAID-контроллер SATA II в нашей лаборатории с интерфейсом PCIe.

Интерфейс PCI Express (PCIe) находится на рынке уже примерно полтора года, но до сих пор он воспринимается, по большей части, как новый интерфейс графических карт. Настольные материнские платы с поддержкой PCI Express предлагают дополнительные слоты с этим интерфейсом, но используются они сегодня очень редко. Собственно, как и версии с большей пропускной способностью на материнских платах для серверов и рабочих станций.

Хотя теоретически PCI Express x16 может обеспечить большую пропускную способность по сравнению с PCI-X 533 (8 Гбайт/с против 4,26 Гбайт/с), важно подчеркнуть, что PCIe был предназначен для замены не PCI-X, а других, более старых шинных интерфейсов. PCIe был нацелен на замену графического интерфейса AGP по маркетинговым соображениям, а также чтобы проложить путь использованию двух графических карт. Да и устаревшая 32-битная параллельная шина PCI тоже требовала замены. Вряд ли PCI можно назвать хорошей шиной по современным понятиям: она предлагает относительно низкую пропускную способность, которая, к тому, же разделяется между всеми устройствами PCI. Современные технологии - вроде гигабитного Ethernet, периферии с поддержкой высокого разрешения и контроллеров накопителей - требуют более высокой пропускной способности.

Перейдём к сути PCI Express: этот интерфейс не обязательно быстрее PCI-X, но он проще и обеспечивает пропускную способность отдельно для каждого устройства. Именно поэтому сегодня появляется всё больше чипсетов класса "сервер/рабочая станция" с поддержкой PCI Express: слишком уж заманчиво, когда пропускная способность выделяется для каждого устройства.

Одним из возможных применений можно сразу же назвать контроллеры сети и накопителей, так как они уже давно страдают из-за "узости" интерфейса. Вполне понятно, что построить 10-Гбит/с тестовое окружение Ethernet сложнее, чем использовать контроллеры накопителей. Поэтому для тестирования мы выбрали RAID.

Мы отобрали два последних контроллера HighPoint Serial ATA II RAID RocketRAID, модели 2220 и 2320, поскольку они построены на одинаковой технологии и различаются только интерфейсом. 2220 является моделью PCI-X, а 2320 использует интерфейс x4 PCI Express.

PCI-X является существенно доработанной версией параллельной шины Peripheral Components Interconnect (PCI). Она построена на классической шинной топологии и требует для подключения большое число дорожек/контактов. Как мы уже упоминали выше, доступная пропускная способность разделяется между всеми устройствами.

В отличие от обычной PCI в вашем компьютере, имеющей ширину 32 бита, PCI-X является 64-битной шиной. В результате пропускная способность автоматически удваивается, равно как число дорожек/контактов и размеры слота. Но всё остальное, включая протоколы передачи, сигналы и типы разъёмов, обратно совместимо. То есть в слот PCI-X можно установить 32-битную карту PCI (3,3 В). Кроме того, многие 64-битные карты PCI-X могут работать в 32-битных слотах PCI, но, конечно, с заметно сниженной пропускной способностью.

Но даже такое расширение шины всё равно не обеспечивало достаточную пропускную способность для профессиональных контроллеров накопителей SCSI, iSCSI, Fibre Channel, 10-Гбит/с Ethernet, InfiniBand и прочего. Поэтому группа PCI-SIG (Special Interest Group) добавила в спецификацию несколько скоростных градаций, меняющихся от PCI-X 66 (Rev. 1.0b) до PCI-X 533 (Rev. 2.0). В следующей таблице дана подробная информация.

Как можно видеть, по достижении 133 МГц с PCI-X 133 тактовая частота больше не возрастала. Чтобы обеспечить более высокую пропускную способность, были задействованы две технологии, с которыми вы наверняка уже знакомы по шинам памяти и FSB. PCI-X 266 опирается на технологию удвоенной передачи данных Double Data Rate, когда данные передаются на спаде и возрастании тактового импульса. PCI-X 533 заходит ещё дальше и использует учетверённую передачу данных (Quad Data Rate). Intel уже давно использует эту технологию для FSB процессоров Pentium 4 и Xeon.

Широкие слоты слева - это и есть 64-битная шина PCI-X.

Источник: презентация PCI-SIG PCI-X 2.0.

Как мы уже указывали выше, общая пропускная способность с максимумом в 4,26 Гбайт/с разделяется между всеми устройствами, подключёнными к шине. Кроме того, если какое-либо устройство не способно работать на высокой тактовой частоте, система снизит скорость шины до наименьшего общего значения, вплоть до 33 МГц. Впрочем, именно такую цену приходится платить за совместимость. Но проблему можно решить, реализовав на материнской плате более одного моста PCI-X. Продукты с подобной возможностью предлагаются всеми производителями профессионального уровня, включая такие компании, как Asus, Supermicro и Tyan.

Обратная совместимость является большим плюсом PCI-X. Администраторы желают быть абсолютно уверенными, что новое оборудование будет работать правильно. Именно поэтому внедрение новых технологий на рынке серверов и рабочих станций не такое быстрое. Зачем нужно прощаться с технологией, если она является обратно совместимой, обеспечивает достаточную производительность и отличается большой базой имеющегося оборудования? Эта ситуация вряд ли изменится в будущем, поскольку сегодня группа PCI-SIG работает уже над стандартом PCI-X 1066. Он ещё раз удвоит пропускную способность и, кроме того, получит новые функции вроде сжатия данных "на лету", автоматических резервных путей и защиты от сбоев. Кроме того, может появиться поддержка изохронной передачи, но тогда придётся отказаться от совместимости с обычной PCI.

PCI — Express (PCIe , PCI — E ) – последовательная, универсальная шина впервые обнародованная 22 июля 2002 года.

Является общей , объединяющей шиной для всех узлов системной платы, в которой соседствуют все подключённые к ней устройства. Пришла на замену устаревающей шине PCI и её вариации AGP , по причине возросших требований к пропускной способности шины и невозможности за разумные средства улучшить скоростные показатели последних.

Шина выступает как коммутатор , просто направляя сигнал из одной точки в другую не изменяя его. Это позволяет без явных потерь скорости, с минимальными изменениями и ошибками передать и получить сигнал.

Данные по шине идут симплексно (полный дуплекс), то есть одновременно в обе стороны с одинаковой скоростью, причём сигнал по линиям, течёт непрерывно , даже при отключении устройства (как постоянный ток, или битовый сигнал из нулей).

Синхронизация построена избыточным методом. То есть вместо 8 бит информации, передаётся 10 бит , два из которых являются служебными (20% ) и в определённой последовательности служат маячками для синхронизации тактовых генераторов или выявления ошибок . Поэтому, заявленная скорость для одной линии в 2.5 Гбитс , на самом деле равна примерно 2.0 Гбитс реальных.

Питание каждого устройства по шине, подбирается отдельно и регулируется с помощью технологии ASPM (Active State Power Management ). Она позволяет при простое (без подачи сигнала) устройства занижать его тактовый генератор и переводить шину в режим пониженного энергопотребления . Если сигнал не поступал в течение нескольких микросекунд, устройство считается неактивным и переводится в режим ожидания (время зависит от типа устройства).

Скоростные характеристики в двух направлениях PCI — Express 1.0 :*

1 x PCI —E ~ 500 Мбс

4х PCI —E ~ 2 Гбс

8 x PCI —E ~ 4 Гбс

16х PCI —E ~ 8 Гбс

32х PCI-E ~ 16 Гбс

*Скорость передачи данных в одном направлении в 2 раза ниже данных показателей

15 января 2007 года, PCI —SIG выпустила обновлённую спецификацию именуемую PCI-Express 2.0

Основным улучшением стала в 2 раза увеличенная скорость передачи данных (5.0 Ггц , против 2.5Ггц в старой версии). Усовершенствованию подвергся также двухточечный протокол передачи данных (точка-точка), доработана программная составляющая и добавлена система программного мониторинга за скоростью шины. При этом сохранилась совместимость с версиями протокола PCI —E 1.х

В новой версии стандарта (PCI — Express 3.0 ), главным нововведением будет измененная система кодирования и синхронизации . Вместо 10 битной системы (8 бит информации, 2 бита служебных), будет применяться 130 битная (128 бит информации, 2 бита служебных). Это позволит снизить потери в скорости с 20% до ~1.5% . Будет также переработан алгоритм синхронизации передатчика и приёмника, улучшен PLL (phase-locked loop). Скорость передачи увеличится предположительно в 2 раза (в сравнении с PCI —E 2.0 ), при этом сохранится совместимость с прошлыми версиями PCI —Express .

И PCI-X представляют собой щелевые разъемы, имеющие контакты с шагом 0,05 дюйма. Слоты расположены несколько дальше от задней панели, чем ISA/EISA или MCA. Компоненты карт PCI расположены на левой поверхности плат. По этой причине крайний PCI-слот обычно совместно использует посадочное место адаптера (прорезь на задней стенке корпуса) с соседним ISA-слотом. Такой слот называют разделяемым (shared slot), в него может устанавливаться либо карта ISA, либо PCI.

Карты PCI могут предназначаться для интерфейсных сигналов уровня 5 В и 3,3 В, а также быть универсальными. Слоты PCI имеют уровни сигналов, соответствующие питанию микросхем PCI-устройств системной платы (включая главный мост): либо 5 В, либо 3,3 В. Во избежание ошибочного подключения слоты имеют ключи, определяющие номинал напряжения. Ключами являются пропущенные ряды контактов 12, 13 и/или 50, 51:

• для слота на 5 В ключ (перегородка) расположен на месте контактов 50, 51 (ближе к передней стенке корпуса); такие слоты отменены в PCI 3.0;
• для слота на 3,3 В перегородка находится на месте контактов 12, 13 (ближе к задней стенке корпуса);
• на универсальных слотах перегородок нет;
• на краевых разъемах карт 5 В имеются ответные прорези только на месте контактов 50, 51; такие карты отменены в PCI 2.3;
• на картах 3,3 В прорези только на месте контактов 12, 13;
• на универсальных картах имеется оба ключа (две прорези).

Ключи не позволяют установить карту в слот с неподходящим напряжением питания. Карты и слоты различаются лишь питанием буферных схем, которое поступает с линий +V I/O:

• на слоте «5 В» на линии +V I/O подается + 5 В;
• на слоте «3,3 В» на линии +V I/O подается + (3,3–3,6) В;
• на карте «5 В» буферные микросхемы рассчитаны только на питание + 5 В;
• на карте «3,3 В» буферные микросхемы рассчитаны только на питание + (3,3– 3,6) В;
• на универсальной карте буферные микросхемы допускают оба варианта питания и будут нормально формировать и воспринимать сигналы по спецификациям 5 или 3,3 В, в зависимости от типа слота, в который установлена карта (то есть от напряжения на контактах + V I/O).

На слотах обоих типов присутствуют питающие напряжения + 3,3, + 5, + 12 и –12 В на одноименных линиях. В PCI 2.2 определена дополнительная линия 3.3Vaux - «дежурное» питание + 3,3 В для устройств, формирующих сигнал PME# при отключенном основном питании.

ПРИМЕЧАНИЕ!

Выше приведены положения из официальных спецификаций PCI. На современных системных платах пока чаще всего встречаются слоты, по ключу являющиеся 5вольтовыми. Однако при этом напряжение на линиях +V I/O и уровни сигналов интерфейса являются 3,3-вольтовыми. В этих слотах нормально работают все современные карты с 5-вольтовыми ключами - их интерфейсные схемы работают при питании как 3,3, так и 5 В. Интерфейс с 5-вольтовым питанием может работать только на частоте до 33 МГц. «Настоящие» 5-вольтовые системные платы были только для процессоров 486 и первых моделей Pentium.

Наибольшее распространение получили 32-битные слоты, заканчивающиеся контактами A62/B62. 64-битные слоты встречаются реже, они длиннее и заканчиваются контактами A94/B94. Конструкция разъемов и протокол позволяют устанавливать 64-битные карты как в 64-битные, так и в 32-битные разъемы, и наоборот, 34-битные карты как в 32-битные, так и в 64-битные разъемы. При этом разрядность обмена будет соответствовать слабейшему компоненту.

Для сигнализации об установке карты и потребляемой ею мощности на разъемах PCI предусмотрено два контакта - PRSNT1# и PRSNT2#, из которых хотя бы один соединяется на карте с шиной GND. С их помощью система может определить присутствие карты в слоте и ее энергопотребление. Кодирование потребляемой мощности приведено в таблице; здесь приведены значения и для малогабаритных карт Small PCI.

Карты и слоты PCI-X по механическим ключам соответствуют 3,3-вольтовым картам и слотам; напряжение питания + V I/O для PCI-X Mode 2 устанавливается 1,5 В.

На рисунке изображены карты PCI в конструктиве PC/AT-совместимых компьютеров. Полноразмерные карты (Long Card, 107×312 мм) используются редко, чаще применяются укороченные платы (Short Card, 107×175 мм), но многие карты имеют и меньшие размеры. Карта имеет обрамление (скобку), стандартное для конструктива ISA (раньше встречались карты и с обрамлением в стиле MCA IBM PS/2). У низкопрофильных карт (Low Profile) высота не превышает 64,4 мм; их скобки также имеют меньшую высоту. Такие карты могут устанавливаться вертикально в 19-дюймовые корпуса высотой 2U (около 9 см).

Назначение выводов разъема карт PCI/PCI-X приведено в таблице ниже.

Примечание!

1 - Сигнал M66EN определен в PCI 2.1 только для слотов на 3,3 В.
2 - Сигнал введен в PCI-X 2.0 (прежде был резерв).
3 - Сигнал введен в PCI 2.2 (прежде был резерв).
4 - Сигнал введен в PCI-X (в PCI - GND).
5 - Сигналы введены в PCI 2.3. В PCI 2.0 и 2.1 контакты A40 (SDONE#) и A41 (SBOFF#) использовались для слежения за кэшем; в PCI 2.2 они были освобождены (для совместимости на системной плате эти цепи подтягивались к высокому уровню резисторами 5 кОм).

На слотах PCI имеются контакты для тестирования адаптеров по интерфейсу JTAG (сигналы TCK, TDI, TDO, TMS и TRST#). На системной плате эти сигналы задействованы не всегда, но они могут и организовывать логическую цепочку тестируемых адаптеров, к которой можно подключить внешнее тестовое оборудование. Для непрерывности цепочки на карте, не использующей JTAG, должна быть связь TDI–TDO.

На некоторых старых системных платах позади одного из слотов PCI встречается разъем Media Bus, на который выводятся сигналы ISA. Он предназначен для размещения на карте PCI звукового чипсета, предназначенного для шины ISA. Большинство сигналов PCI соединяются по чистой шинной топологии, то есть одноименные контакты слотов одной шины PCI электрически соединяются друг с другом. Из этого правила есть несколько исключений:

• сигналы REQ# и GNT# индивидуальны для каждого слота, они соединяют слот с арбитром (обычно - мостом, подключающим эту шину к вышестоящей);
• сигнал IDSEL для каждого слота соединяется (возможно, через резистор) с одной из линий AD, задавая номер устройства на шине;
• сигналы INTA#, INTB#, INTC#, INTD# циклически сдвигаются по контактам, обеспечивая распределение запросов прерываний;
• сигнал CLK заводится на каждый слот индивидуально от своего выхода буфера синхронизации; длина подводящих проводников выравнивается, обеспечивая синхронность сигнала на всех слотах (для 33 МГц допуск ± 2 нс, для 66 МГц - ± 1 нс).

AGP-слот с защёлкой для графической карты.

Большинство графических карт в пользовательских ПК используют интерфейс Accelerated Graphics Port (AGP). У самых старых систем для той же цели применяется интерфейс PCI. Впрочем, на замену обоим интерфейсам призван PCI Express (PCIe). Несмотря на название, PCI Express является последовательной шиной, а PCI (без суффикса Express) - параллельной. В общем, шины PCI и PCI Express не имеют ничего общего, помимо названия.

Графическая карта AGP (сверху) и графическая карта PCI Express (снизу).

Материнские платы для рабочих станций используют слот AGP Pro, который обеспечивает дополнительное питание для прожорливых карт OpenGL. Впрочем, в него можно устанавливать и обычные графические карты. Однако AGP Pro так и не получил широкое признание. Обычно прожорливые графические карты комплектуются дополнительным гнездом питания - для той же вилки Molex, к примеру.

Дополнительное питание для графической карты: 4- или 6-контактное гнездо.

Дополнительное питание для графической карты: гнедо Molex.

Стандарт AGP пережил несколько обновлений.

Если вы любите копаться в "железе", то следует помнить о двух уровнях напряжения интерфейса. Стандарты AGP 1X и 2X работают на 3,3 В, в то время как AGP 4X и 8X требуют всего 1,5 В. Кроме того, существуют карты типа Universal AGP, которые подходят для разъёма любого типа. Чтобы предотвратить ошибочную установку карт, слоты AGP используют специальные выступы. А карты - прорези.

У верхней карты есть прорезь для AGP 3,3 В. В середине: универсальная карта с двумя вырезами (один для AGP 3,3 В, второй - для AGP 1,5 В). Снизу показана карта с вырезом справа для AGP 1,5 В.

Слоты расширения материнской платы: PCI Express x16 линий (сверху) и 2 PCI Express x1 линия (снизу).

Два слота PCI Express для установки двух графических карт nVidia SLi. Между ними можно заметить маленький слот PCI Express x1.

PCI Express является последовательным интерфейсом, и его не следует путать с шинами PCI-X или PCI, которые используют параллельную передачу сигналов.

PCI Express (PCIe) является самым современным интерфейсом для графических карт. В то же время, он подходит и для установки других карт расширения, хотя на рынке пока их очень мало. PCIe x16 обеспечивает в два раза большую пропускную способность, чем AGP 8x. Но на практике это преимущество так себя и не проявило.

Графическая карта AGP (сверху) в сравнении с графической картой PCI Express (снизу).

Сверху вниз: PCI Express x16 (последовательный), два интерфейса параллельной PCI и PCI Express x1 (последовательный).

PCI является стандартной шиной для подключения периферийных устройств. Среди них можно отметить сетевые карты, модемы, звуковые карты и платы захвата видео.

Среди материнских плат для широкого рынка больше всего распространена шина PCI стандарта 2.1, работающая на частоте 33 МГц и имеющая ширину 32 бита. Она обладает пропускной способностью до 133 Мбит/с. Производители так широко и не приняли шины PCI 2.3 с частотой до 66 МГц. Именно поэтому карт данного стандарта очень мало. Но некоторые материнские платы этот стандарт поддерживают.

Ещё одна разработка в мире параллельной шины PCI известна как PCI-X. Данные слоты чаще всего встречаются на материнских платах для серверов и рабочих станций, поскольку PCI-X обеспечивает более высокую пропускную способность для RAID-контроллеров или сетевых карт. К примеру, шина PCI-X 1.0 предлагает пропускную способность до 1 Гбит/с с частотой шины 133 МГц и разрядностью 64 бита.

Спецификация PCI 2.1 сегодня предусматривает напряжение питания 3,3 В. Левый вырез/выступ предотвращает установку старых 5-В карт, которые показаны на иллюстрации.

Карта с вырезом, а также PCI-слот с ключом.

RAID-контроллер для 64-битного слота PCI-X.

Классический 32-битный слот PCI сверху, а три 64-битных слота PCI-X снизу. Зелёный слот поддерживает ZCR (Zero Channel RAID).

Словарик

• PCI = Peripheral Component Interconnect

PCI Express это шина, которая используется для подключения разнообразных комплектующих к настольному ПК. С ее помощью подключают видеокарты, сетевые карты, звуковые карты, WiFi модули и другие подобные устройства. Разработку данной шины начала компания Intel в 2002 году. Сейчас разработку новых версий данной шины занимается некоммерческая организация PCI Special Interest Group.

На данный момент шина PCI Express полностью заменила такие устаревшие шины как AGP, PCI и PCI-X. Шина PCI Express размещается в нижней части материнской платы в горизонтальном положении.

В чем отличия PCI Express от PCI

PCI Express это шина, которая была разработана на основе шины PCI. Основные отличия между PCI Express и PCI лежат на физическом уровне. В то время как PCI использует общую шину, в PCI Express используется топология типа звезда. Каждое PCI Express устройство подключается к общему коммутатору отдельным соединением.

Программная модель PCI Express во многом повторяет модель PCI. Поэтому большинство существующих CI контроллеров могут быть легко доработаны для использования шины PCI Express.

Кроме этого, шина PCI Express поддерживает такие новые возможности как:

• Горячее подключение устройств;
• Гарантированная скорость обмена данными;
• Управление потреблением энергии;
• Контроль целостности передаваемой информации;

Как работает шина PCI Express

Для подключения устройств шина PCI Express использует двунаправленное последовательное соединение. При этом такое соединение может иметь одну (x1) или несколько (x2, x4, x8, x12, x16 и x32) отдельных линий. Чем больше таких линий используется, тем большую скорость передачи данных может обеспечить шина PCI Express. В зависимости от количества поддерживаемых линий размер сорта на материнской плате будет отличаться. Существуют слоты с одной (x1), четырьмя (x4) и шестнадцатью (x16) линиями.

Наглядная демонстрация размеров слота PCI Express и PCI

При этом любое PCI Express устройство может работать в любом слоте, если слот имеет такое же или большее количество линий. Это позволяет установить PCI Express карту с разъемом x1 в слот x16 на материнской плате.

Пропускная способность PCI Express зависит от количества линий и версии шины.

Если Вам нужна в выборе видеокарты или , звоните и мы поможем!