ПОЗНАВАТЕЛЬНОЕ

Оси и плоскости тела человека - Тело человека состоит из определенных топографических частей и участков, в которых расположены органы, мышцы, сосуды, нервы и т.д.

Отёска стен и прирубка косяков - Когда на доме не достаёт окон и дверей, красивое высокое крыльцо ещё только в воображении, приходится подниматься с улицы в дом по трапу.

Дифференциальные уравнения второго порядка (модель рынка с прогнозируемыми ценами) - В простых моделях рынка спрос и предложение обычно полагают зависящими только от текущей цены на товар.

Реальная производительность

Предыдущая 1 2 3 4 5 678 9 10 11 12 13 14 15 16 Следующая

При выполнении реальных прикладных программ реальная (эффективная, номинальная) производительность может весьма существенно (до нескольких раз) отличаться от пиковой. Реальная производительность зависит от архитектуры ЭВМ и ВС, от программы, обрабатываемых данных.

В настоящее время для оценки реальной производительности ЭВМ и ВС используют целый ряд различных методик. Рассмотрим наиболее используемые из них.

Очень часто для оценки производительности, как отдельных ЭВМ, так и ВС, широко используют наборы задач (тесты) для той или иной области их применения. Время выполнения каждой из задач набора составляет основу для расчета индекса производительности исследуемой ВС. Этот индекс является относительной оценкой, несущей информацию о том, насколько быстрее или медленнее исследуемая ВС выполняет подобные задачи по сравнению с некоторой широко распространенной ЭВМ, называемой базовой или эталонной. Очевидно, что если мы умеем определять производительность эталонной ЭВМ, то не составит труда перейти от индекса производительности к абсолютным ее значениям для исследуемой ВС.

Следует заметить, что при оценке производительности на тестах приходится решать три проблемы, связанные с анализом результатов контрольного тестирования производительности:

· отделение показателей, которым можно доверять безоговорочно, от тех, которые должны восприниматься с известной долей настороженности (проблема достоверности оценок);

· выбор контрольно-оценочных тестов, наиболее точно характеризующих производительность при обработке типовых задач пользователя (проблема адекватности оценок);

· правильное истолкование результатов тестирования производительности, особенно если они выражены в нестандартных единицах измерения (проблема интерпретации).

Различают следующие группы тестов:

1. Тесты производителей.

2. Стандартные тесты.

3. Тесты пользователей.

Первую группу тестов (тесты производителей), разрабатывают компании изготовители ЭВМ или ВС для «внутреннего» применения - оценки качества собственных продуктов. Главная особенность данных тестов заключается в том, что они ориентированы на сравнение ограниченного множества однотипных компьютеров, часто относящихся к одному семейству.

Например, для оценки производительности микропроцессоров с архитектурой х86 компания Intel в 1992 г. предложила индекс производительности iCOMP (Intel Comparative Microprocessor Performance). В качестве эталонного процессора принята модель 486 SX‑25, значение индекса для которого равно 100. Индекс iCOMP определяется при выполнении смеси операций, состоящей из 67% операций над 16-разрядными целыми числами, 3% операций над 16-разрядными числами с плавающей точкой, 25% - над 32-разрядными целыми числами и 5% - над 32-разрядными числами с плавающей точкой. К примеру, индексы iCOMP для микропроцессоров 486 SX2-50, Pentium-100 и Pentium-166 равны 180, 815 и 1308 соответственно. Следует отметить, что индекс iCOMP оценивает производительность микропроцессора как такового, а не вычислительной системы, включающей еще оперативную память и внешние устройства.

В фирме IBM имеются специализированные тестовые пакеты LSPR для измерения производительности ЭВМ семейств System/370 и System/390, а также тесты RAMP-C для компьютеров AS/400.

Тесты производителей являются почти идеальным средством оценивания быстродействия систем, для которых они созданы (действительно, кто знает структурные особенности машины лучше ее создателя), однако вряд ли могут быть в чистом виде использованы для других компьютеров - сказывается слишком явная ориентация тестов на конкретную «фирменную» архитектуру.

Вторую группу составляют стандартные тесты, разработанные для сравнения широкого спектра ЭВМ и ВС. Тесты этой категории - продукт деятельности независимых аналитиков (например, Джека Донгарры, предложившего тестовый пакет Linpack) или групп, объединяющих крупнейших производителей компьютеров (SPEC, ТРС-С, DevectClub), что практически исключает возможность ориентации стандартного теста на конкретного поставщика. Например, для оценки серверов, обрабатывающих транзакции в реальном времени в OLTP-системах, используется тестовый набор Transaction Processing Performance Council (TPC-C). Производительность серверов оценивается числом транзакций, исполняемых за минуту (tpmC).

Тесты третьей группы или пользовательские тесты создаются крупными компаниями, специализирующимися на внедрении компьютерных технологий, или совместными усилиями группы пользователей, объединенных сходством решаемых задач. Эти средства предназначены специально для выбора компьютеров и ПО, наиболее подходящих под определенные прикладные задачи. В принципе такой подход позволяет получить наиболее точные оценки производительности для конкретного класса приложений, хотя и сопряжен со значительными усилиями пользователей по созданию тестовых программ и проведению испытаний компьютеров. Примером может служить известный пакет программ аэродинамических расчетов, применяемый для тестирования новых супер-ЭВМ в ИПМ им. М.В. Келдыша РАН.

Из числа стандартных тестов на сегодня наиболее распространенными являются наборы тестов компании SPEC (Standard Performance Evaluation Corporation) - SPEC (89, 92 и 95), тесты Linpack, тесты TPC-C (для OLTP-систем) и тесты NPB (для многопроцессорных ЭВМ).

Пакет тестовых программ SPEC 89 включает два тестовых набора - Cint89, состоящий из четырех программ целочисленной обработки, и Cfр89, объединяющий шесть программ со значительным объемом операций над числами с плавающей точкой двойной точности. Все десять модулей представляют собой достаточно сложные программы на языках С и Fortran с широким спектром решаемых задач - от оптимизации матриц булевой логики до моделирования замещения атомов в квантовой химии. Методика оценки производительности SPEC 89 предполагает формирование десяти дифференциальных оценок SPECratio_i, каждая из которых определяется, как отношение времени выполнения программы № i из наборов Cint89 и Cfp89 на тестируемом компьютере ко времени выполнения той же программы на ЭВМ фирмы DEC VAX 11/780.

Интегральной характеристикой производительности компьютера служит показатель SPECmark, являющийся средним геометрическим всех десяти частных оценок SPECratio. К параметру SPECmark добавлены еще две оценки - SPECint89 и SPECfp89, раздельно характеризующие быстродействие компьютера при обработке целочисленных данных и чисел с плавающей точкой соответственно.

Методика расчета основных характеристик производительности с помощью пакета SPEC 92 по сравнению с пакетом SPEC 89 не претерпела никаких принципиальных изменений. Показатели SPECint92 и SPECfp92 по-прежнему определяются средними геометрическими частных оценок SPЕCratio, полученных при тестовом прогоне программ из наборов Cint92 и Cfp92 (конечно, с учетом увеличения числа тестовых программ).

В SPEC 92, по сравнению с пакетом SPEC 89, введено одно новшество. Речь идет о характеристиках мультипрограммной обработки SPECrate, формируемых в рамках метода однородной нагрузки. Суть последнего заключается в следующем: тестируемый компьютер выполняет задание, состоящее из множества копий одной программы, а показателем производительности многопроцессорной обработки служит количество копий, завершенных в определенный интервал времени. Для получения оценки SPECrate используются те же программы, что и для расчета показателей SPECint92 и SPECfp92. Разница только в том, что тестовый модуль реализуется как несколько копий, образующих одно задание, а результатом измерений является нормированное общее время выполнения всех копий задания. Подобной процедуре подвергается каждая из 20 тестовых программ, что позволяет получить шесть частных оценок SPECratio для программ целочисленной обработки и 14 - для программ обработки чисел с плавающей точкой.

Дальнейшее развитие микропроцессоров (повышение производительности и увеличение объема внутрикристальной памяти, совершенствование компиляторов и т.п.) привело к появлению нового тестового пакета SPEC 95.

В этом пакете индексы производительности даются по отношению к эталонной машине SPARC-station 10/40 в конфигурации с кэш-памятью второго уровня.

Используются два тестовых набора CINT 95 и CFP 95, состоящие из 8 и 10 программ соответственно.

При испытаниях компьютеров формируются:

· индексы производительности SPEC int 95, SPEC fp 95 и SPEC intbase 95, SPEC fpbase 95 для фиксированной и плавающей точки в оптимизированном режиме компиляции и без оптимизации соответственно;

· индексы пропускной способности SPEC intrate 95, SPEC fprate 95 и SPEC intratebase 95, SPEC fpratebase 95 для оценки многозадачных режимов и SMP-архитектур при оптимизированном режиме компиляции и без оптимизации соответственно.

Все интегральные индексы производительности формируются как среднее геометрическое индексов по отдельным тестам. При этом корпорация SPEC не дает никаких рекомендаций по установлению соответствия между значениями индексов SPEC 92 и SPEC 95.

Набор тестов Linpack - это пакет программ для решения систем линейных алгебраических уравнений, разработанный известным американским ученым Джеком Донгаррой. Алгоритмы линейной алгебры весьма широко используются в самых разных задачах, и поэтому измерение производительности на Linpack представляют интерес для многих пользователей.

В основе алгоритмов действующего варианта Linpack лежит метод декомпозиции. Исходная матрица размером 100х100 элементов (в последнем варианте размером 1000х1000) сначала представляется в виде произведения двух матриц стандартной структуры, над которыми затем выполняется собственно алгоритм нахождения решения. Подпрограммы, входящие в Linpack, структурированы. В стандартном варианте Linpack выделен внутренний уровень базовых подпрограмм, каждая из которых выполняет элементарную операцию над векторами. Набор базовых подпрограмм называется BLAS (Basic Linear Algebra Subprograms). Например, в BLAS входят две простые подпрограммы SAXPY (умножение вектора на скаляр и сложение векторов) и SDOT (скалярное произведение векторов). Все операции выполняются над числами с плавающей точкой, представленными с двойной точностью. Результат измеряется в MFLOPS.

Использование результатов работы тестового пакета Linpack с двойной точностью как основы для определения величины MFLOPS стало общепринятой практикой в компьютерной промышленности. Для многопроцессорных систем также имеются параллельные версии Linpack, и такие системы часто показывают линейное увеличение производительности с ростом числа процессоров.

По результатам тестирования с использованием тестов Linpack с июня 1993 года в университете Маннгейма (Mannheim) в Германии и в Netlib в США ведется так называемый список Top500, включающий 500 самых производительных компьютеров в мире. Список обновляется каждые полгода, попадание в этот список свидетельствует о значительном достижении той или иной страны или компании в области построения высокопроизводительных ЭВМ. Текущая версия списка Top500 доступна в Интернет по адресу http://www.top500.org.

По мере расширения использования компьютеров при обработке транзакций в сфере бизнеса все более важной становится возможность справедливого сравнения систем между собой. С этой целью в 1988 году был создан Совет по оценке производительности обработки транзакций (TPC - Transaction Processing Performance Council). На сегодня членами TPC являются практически все крупнейшие производители аппаратных средств и программного обеспечения для автоматизации коммерческой деятельности.

В компьютерной индустрии термин транзакция (transaction) может означать почти любой вид взаимодействия или обмена информацией. Однако в мире бизнеса «транзакция» имеет вполне определенный смысл: коммерческий обмен товарами, услугами или деньгами. Наиболее характерными примерами систем обработки транзакций являются системы управления учетом, системы резервирования авиабилетов и банковские системы.

Основной задачей организации TPC является точное определение тестовых пакетов для оценки систем обработки транзакций и баз данных, а также для распространения объективных, проверяемых данных в промышленности. Первоначально основными тестами для оценки производительности компании TPC являлись тесты TPC-A, TPC-B, TPC-C. В дальнейшем этот набор был расширен спецификациями тестов TPC-D и TPC-E. Организацией TPC ведутся постоянные исследования по модификации уже существующих и разработке новых спецификаций тестов.

Следует отметить, что, как и любой другой тест, ни один тест TPC не может измерить производительность системы, которая применима для всех возможных сред обработки транзакций, но эти тесты могут помочь пользователю сравнивать похожие системы.

Тест TPC-A, созданный в 1989 г., используется для оценки эффективности исполнения транзакций типа «дебит-кредит». Этот тест определяет пропускную способность системы, измеряемую количеством транзакций в секунду, которые система может выполнить при работе с множеством терминалов. Тест TPC-A может выполняться в локальных или региональных вычислительных сетях. При исполнении теста моделируется работа филиальной сети банка по приему-выдаче вкладов клиентов.

В августе 1990 года был разработан тест TPC-B, интенсивный тест базы данных. Тест TPC-B также измеряет пропускную способность системы в транзакциях в секунду, но использует отличную от TPC-A методику расчетов (в частности, в TPC-B не выполняется эмуляция терминалов и линий связи).

Тестовый пакет TPC-C моделирует прикладную задачу обработки заказов. Он моделирует достаточно сложную систему OLTP, которая должна управлять приемом заказов, управлением учетом товаров и распространением товаров и услуг. Тест TPC-C осуществляет тестирование всех основных компонентов системы: терминалов, линий связи, процессоров, дискового ввода-вывода и базы данных. При исполнении теста моделируется функционирование нескольких складов компании. Результатом теста являются две величины. Одна из них, tpm-C, представляет пиковую скорость выполнения транзакций (выражается в количестве транзакций в минуту). Второй результат, $/tpm-C, представляет собой нормализованную стоимость системы. Стоимость системы включает все аппаратные средства и программное обеспечение, используемые в тесте, плюс стоимость обслуживания в течение пяти лет.

Тест TPC-D предназначен для оценки производительности систем принятия решений, а тест TPC-E - его альтернативный вариант для оценки систем масштаба предприятия. Кроме того, TPC продолжает разработку тестовых пакетов для оценки баз данных и систем «клиент-сервер».

Тесты NPB (NAS Parallel Benchmark) разработаны Национальным космическим агентством (НАСА) США специально для измерения производительности многопроцессорных ЭВМ. Комплекс тестов NAS состоит из пяти тестов NAS kernel benchmark (оценки производительности ядра) и трех тестов, основанных на реальных задачах гидро- и аэродинамического моделирования. На сегодняшний день набор NPB является лучшим общепризнанным комплексом тестов для оценки параллельных многопроцессорных систем.

Комплекс тестов NAS Benchmarks kernel включает следующие расчетные задачи:

1. ЕР (Embarrasinghly Parallel) - вычисление интеграла методом Монте-Карло. Этот тест минимального межпроцессорного взаимодействия и определяет вычислительные характеристики узла многопроцессорной ВС при работе с вещественной арифметикой.

2. MG (3D Multigrid) - тест по решению уравнения Пуассона («трехмерная решетка») в частных производных.

3. CG (Conjugate Gradient) - вычисление наименьшего собственного значения больших, разреженных матриц методом сопряженных градиентов.

4. FT (fast Fourier Tranformation) - вычисление методом быстрого преобразования Фурье трехмерного уравнения в частных производных.

5. IS (Integer Sort) - тест выполняет сортировку целых чисел.

Комплекс тестов NAS Benchmarks по модельным задачам включает следующие модули:

1. LU (LU Solver) - тест выполняет вычисления, связанные с определенным классом алгоритмов (INS3D-LU по классификации центра NASA Ames), в которых решается система уравнений с равномерно разреженной блочной треугольной матрицей 5х5.

2. SP (Scalar Pentadiagonal) - тест выполняет решение нескольких независимых систем скалярных уравнений - пентадиагональные матрицы с преобладанием недиагональных членов.

3. ВТ (Block Tridiagonal) - решение серии независимых систем уравнений - блочные трехдиагональные матрицы 5х5 с преобладанием недиагональных элементов.

Основной вывод, который, с очевидностью, следует из вышесказанного о тестах оценки производительности, состоит в том, что результаты тестирования по разным тестам несопоставимы. Поэтому, если известна область применения ЭВМ или ВС, всегда следует отдавать предпочтение не оценке, полученной как среднее геометрическое оценок на разных тестах, а тестам, адекватным области применения.

Время ответа ЭВМ и ВС

Время ответа (Time of answer) - это длительность промежутка времени от момента поступления задания в систему до момента окончания его выполнения.

В общем случае время ответа - случайная величина, что обусловлено следующими факторами:

· влиянием исходных данных на число операций ввода, обработки и вывода данных и непредсказуемостью значений исходных данных;

· влиянием состава смеси задач, одновременно находящихся в системе, и непредсказуемостью состава смеси из-за случайности момента поступления задач на обработку.

Время ответа слагается из двух составляющих: времени выполнения задачи и времени ожидания. Время выполнения задачи при отсутствии параллельных процессов равно суммарной длительности всех этапов процесса - ввода, обращения к внешней памяти, процессорной обработки и вывода. Время выполнения задачи зависит от сложности вычислений и быстродействия устройств системы.

Время ожидания - сумма промежутков времени, в течение которых задача находилась в состоянии ожидания требуемых ресурсов. Ожидание возникает при мультипрограммной обработке, когда ресурс, необходимый задаче, занят другой задачей и первая задача не выполняется, ожидая освобождения ресурса. Время ожидания зависит в первую очередь от режима обработки задач и интенсивности входного потока заданий.

Среднее время ответа характеризует быстроту реакций системы на входные воздействия: задания, запросы абонентов и т.п. Качество системы тем выше, чем меньше среднее время ответа.

Предыдущая 1 2 3 4 5 678 9 10 11 12 13 14 15 16 Следующая