МЕТОДИКА
ПРЕДВАРИТЕЛЬНЫХ ИСПЫТАНИЙ № 5
ПРОВЕРКА СООТВЕТСТВИЯ ФУНКЦИОНАЛЬНОСТИ СПО РО СТАНДАРТУ ГОСТ Р ХХХ
ПРИЛОЖЕНИЕ Д
Листов 1
2010
АННОТАЦИЯ
Настоящий документ является методикой предварительных испытаний специального программного обеспечения (СПО) реализации огурцов (РО).
Документ содержит описание объекта и цели испытаний, требований к СПО РО, а также средств, порядка и методов испытаний.
СОДЕРЖАНИЕ
1. ОБЪЕКТ ИСПЫТАНИЙ 4
2. ЦЕЛЬ ИСПЫТАНИЙ 5
3. ТРЕБОВАНИЯ К ПРОГРАММЕ 6
4. ТРЕБОВАНИЯ К ПРОГРАММНОЙ ДОКУМЕНТАЦИИ 7
5. СРЕДСТВА И ПОРЯДОК ИСПЫТАНИЙ 8
6. МЕТОДЫ ИСПЫТАНИЙ 10
6.1. Проверка функциональности TBD 10
1. ОБЪЕКТ ИСПЫТАНИЙ
Объектом испытаний является специальное программное обеспечение реализации огурцов, сокращенное наименование – СПО РО.
2. ЦЕЛЬ ИСПЫТАНИЙ
Целью проведения испытаний является определение соответствия опытного образца СПО РО требованиям ТЗ (п.п. 3.2.1, 3.7.5, 3.13) на выполнение работ «ХХХХ».
3. ТРЕБОВАНИЯ К ПРОГРАММЕ
3.1 На испытаниях СПО РО должно обеспечивать функциональную реализацию всех сервисов и функций, предусмотренных стандартом ГОСТ Р ХХХХ.
3.2 Разрабатываемое СПО РО должно иметь встроенные средства обнаружения исключительных ситуаций (перечень которых определяется стандартом ГОСТ Р ХХХХ).
4. ТРЕБОВАНИЯ К ПРОГРАММНОЙ ДОКУМЕНТАЦИИ
На испытания опытного образца СПО РО представляются следующие документы:
- ТЗ на выполнение работ «ТБД»;
- Описание программы;
- Руководство оператора;
- Текст программы. Загрузочный модуль.
5. СРЕДСТВА И ПОРЯДОК ИСПЫТАНИЙ
5.1. Технические и программные средства, используемые во время испытаний
Испытания опытного образца СПО РО осуществляются на аппаратно-технических средствах со следующими техническими характеристиками:
- Рабочее место испытаний: Kraftway Credo KC57: процессор: Core 2 duo E4700 2.6 GHz, ОЗУ: 1+1 Gb, 667 MHz, Dual-channel DDR2, частота системной шины: 800 MHz, сетевая карта не ниже 100 Мбит/с;
- СОБП APC Back-UPS CS 650.
Специфических требований к видеосистеме, клавиатуре и мыши не предъявляется.
ПЭВМ должны быть объединены локальной вычислительной сетью (ЛВС) со скоростью передачи данных не менее 100 Мбит/с.
Для функционирования СПО РО на аппаратурных средствах должно быть развернуто следующее общее специальное программное обеспечение:
- ОС Linux с ядром не ниже 2.6.17, Windows XP Professional SP2 или Linux 64bit дистрибутив «Астра» релиз Орел.
5.2. Порядок проведения испытаний
Порядок проведения испытаний:
- ознакомление с программой и методикой испытаний;
- проверка комплектности СПО;
- непосредственное проведение испытаний СПО в соответствии с методикой испытаний.
Последовательность и порядок проведений испытаний комплексов программ определяется технологическим процессом решения задач, входящих в данные комплексы.
Возможными вариантами заключения о степени соответствия опытного образца СПО РО функциональному предназначению могут быть:
- соответствует требованиям ТЗ в полном объеме;
- соответствует требованиям ТЗ в основном;
- соответствует требованиям ТЗ с учетом замечаний (указываются элементы задач, которые не реализуются в СПО РО);
- не соответствует требованиям ТЗ.
6. МЕТОДЫ ИСПЫТАНИЙ
Проверка функционирования опытного образца СПО РО на соответствие требованиям ТЗ на выполнение работ «TBD» осуществляется методом экспертной оценки специалистов, привлеченных к испытаниям.
Метод испытаний - тестирование на основе логически обоснованной, упорядоченной и взаимоувязанной последовательности действий, обеспечивающей реализацию функций и решение задач, реализованных в СПО, а также визуализацию и представление по ним результатов.
6.1. Проверка функциональности TBD
Содержание процедур проверки функциональности TBD приведено в таблице 1.
Таблица – Объем испытаний TBD
Процедура
|
Шаг
|
Действия оператора
|
Ожидаемый результат
|
Примечание
|
УФ-И-01
|
0
|
В данной процедуре используются:
- тестовый федерат для проверки генерации исключительных ситуаций test_federate.exe;
- конфигурационный файл cfg.ufi_01.
При подготовке к проведению испытаний необходимо:
- проверить наличие всех перечисленных файлов;
- переименовать конфигурационный файл в ххх.cfg.
|
Все компоненты в наличии.
|
—
|
|
1
|
Переименовать TBD файл в TBD.save.
Запустить тестовую программу.
|
Выполнение программы завершается с ошибкой
«Возникла исключительная ситуация Не могу открыть файл TBD.»
|
—
|
Продолжение таблицы
Процедура
|
Шаг
|
Действия оператора
|
Ожидаемый результат
|
Примечание
|
УФ-И-01
|
2
|
Создать пустой файл с именем TBD.
Запустить тестовую программу.
|
Выполнение тестовой программы завершается с ошибкой.
« Возникла исключительная ситуация Ошибка чтения файла TBD.»
|
—
|
|
3
|
Восстановить TBD файл из TBD.save.
Запустить тестовую программу.
|
Выполнение тестовой программы.
|
—
|
6.7. Оценка степени решения задач в соответствии в части СПО РО
6.7.1. В процессе испытаний СПО РО члены рабочей группы оценивают возможность решения с его помощью перечня задач, в соответствии с разделом 3 данной Программы и методики испытаний.
6.7.2. Члены рабочей группы оценивают возможность решения с использованием СПО каждой задачи по следующим критериям:
- СПО позволяет решить задачу в полном объеме;
- СПО позволяет решить задачу в основном;
- СПО позволяет решить задачу частично;
- СПО в принципе не позволяет решить задачу.
6.7.3. Каждой оценке, выставленной членом рабочей группы относительно каждой задачи, соответствует определенный балл:
- СПО позволяет решить задачу в полном объеме – балл 3,0;
- СПО позволяет решить задачу в основном – балл 2,0;
- СПО позволяет решить задачу частично – балл 1,0;
- СПО в принципе не позволяет решить задачу – балл 0,0.
6.7.4. Групповая оценка СПО (балл S) рассчитывается в соответствии с выражением:
 ,
где n – количество членов рабочей группы (экспертов);
m – количество оцениваемых задач;
xij – балл, соответствующий оценке i-го члена рабочей группы (эксперта) возможности решения с использованием СПО j-й задачи;
qj – коэффициент значимости (веса) задачи.
Коэффициенты значимости (веса) задач определяются членами рабочей группы и должны удовлетворять условию:
 .
6.7.5. Групповая оценка СПО определяется следующим образом:
- балл S 2,5 – СПО позволяет решить задачи, определенные перечнем, в полном объеме;
- балл 2,5 S > 1,5 – СПО позволяет решить задачи, определенные перечнем, в основном;
- балл 1,5 S > 1,0 – СПО позволяет решить задачи, определенные перечнем, частично;
- балл S 1,0 – СПО в принципе не позволяет решить задачи, определенные перечнем.
ПЕРЕЧЕНЬ СОКРАЩЕНИЙ
ЛВС – локальная вычислительная сеть
ОЗУ – оперативное запоминающее устройство
ПО – программное обеспечение
ПС – программное средство
ПЭВМ – персональная электронная вычислительная машина
РО – реализация огурцов
СОБП – система обеспечения бесперебойного питания
СПО – специальное программное обеспечение
ТЗ – техническое задание
«___» ___________ 2008 г.
|
|
|
|
Начальник отдела
ОАО «Крестики и Нолики»
|
|
«___»___________ 2010 г.
|
|
