BSC, KPI… иллюзия управления?

Принципы, подходы, порядок создания СМК

Модератор: Роман Озеранский

BSC, KPI… иллюзия управления?

Сообщение Андрей Горбунов » 06 фев 2012, 11:35

Руководители любят, чтобы результаты работы подчиненных были представлены «весомо, грубо, зримо», чтобы пара-тройка цифр сразу сказала, хорошо все или плохо.
Есть спрос, есть и предложение: появляются разные BSC, KPI и прочий «методический мотыль», на который охотно клюет менеджмент, развивая соответствующие консалтинговые бизнесы.
Знакомясь с BSC, не устаешь поражаться способности американцев делать деньги (и немалые!) на ровном, что называется, месте. Из лозунга типа «Экономика должна быть экономной» сделали чуть ли не панацею от всех управленческих бед и остается только изумленно наблюдать, как мгновение назад еще демонстрировавший разумный прагматизм руководитель превращается в зомби, послушно следующего за дудочкой крысо…, прошу прощения, консультанта.
BSC существует уже более 10 лет и что в итоге? Даже мало-мальски целостной методики авторы за это время так и не представили, ограничившись скромными несколькими страничками «стандарта», излагающего общие идеи, но не методы. Всякий, решивший воспользоваться BSC, остается наедине с самим собой, решая вопрос построения «системы сбалансированных показателей», ибо методики такого построения, равно как и проверки «сбалансированности» уже готовой системы авторы так и не удосужились представить широкой общественности.
Интересный разговор как-то состоялся у меня с одним из сотрудников очень известной иностранной фирмы. Дело было перед Новым годом и человек был весь еще под впечатлением только что закончившегося в компании подведения годовых итогов, в просторечье именуемых «KPI». Меня позабавила ситуация, когда организация сначала тратит кучу ресурсов на то, чтобы разработать систему показателей эффективности, а потом вся масса сотрудников тратит еще одну кучу ресурсов, придумывая, как эти показатели обойти, потому как выходит странная вещь: если работаешь разумно и на пользу бизнесу, то KPI у тебя падает, зато если формально относишься к делу, то KPI взлетает до небес. Вот и выбирай: или быть с бонусом, или принимать решения, полезные для бизнеса. Но пытливый ум нашего человека ищет пути совмещения и того, и другого.
Кто-то скажет, мол, просто неудачно разработана система показателей. А я задам встречный вопрос: а вы вообще видели УДАЧНО разработанную? Я – нет. И более того, полагаю, что такой в природе и не существует, не может существовать, как не может существовать вечного двигателя.
И BSC со своим «развертыванием стратегии в оперативную деятельность», и KPI, и прочие подобные методики имеют один принципиальный, системный недостаток, который не позволяет им играть предназначенную роль. Все эти методики исходят из того, что показатель (цель) верхнего уровня может быть без потерь декомпозирована на показатели (цели) нижнего уровня. Увы, теорема Котельникова в менеджменте не работает.
Сколько раз я проводил нехитрый эксперимент на семинарах с руководителями: просил их взять разработанные в организациях KPI и, представив, что все показатели нижнего уровня выполнены, ответить на вопрос: дает ли это выполнение показателя следующего уровня. Ответ был всегда неизменен: нет. И это неслучайно, потому как цели – явления аналоговые, они если и раскладываются (декомпозируются), то только в бесконечный «ряд Фурье».
Можно сформулировать своего рода принцип: если показатель уровня N декомпозируется на множество показателей уровня N+1, то не существует конечного набора показателей уровня N+1,которые будучи полностью достигнутыми, обеспечили бы достижение показателя уровня N.
Простой, но наглядный пример. Мы взяли показатель «Счастье» и разложили его на составляющие: «Есть любимые», «Есть любящие», «Хватает денег», «Есть здоровье» и т.п. И случилось так, что все наши показатели выполнены. Но… счастья нет.
Забавно наблюдать за руководителями в их реакции на мое заявление, что KPI лишь создают иллюзию управления, что те ресурсы, которые тратятся на их разработку и обработку, по сути, потрачены впустую.
Право сомневаться не отменяет обязанности думать
Аватара пользователя
Андрей Горбунов
Администратор форума
Администратор форума
 
Сообщения: 4232
Зарегистрирован: 25 янв 2005, 18:06
Откуда: Москва
Благодарил (а): 13 раз.
Поблагодарили: 278 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Роман Озеранский » 06 фев 2012, 12:38

Андрей Горбунов писал(а): Все эти методики исходят из того, что показатель (цель) верхнего уровня может быть без потерь декомпозирована на показатели (цели) нижнего уровня. Увы, теорема Котельникова в менеджменте не работает.
Это ключевой момент, мы уже ранее обсуждали на форуме, хорошей методологии декомпозиции целеполагания не существует (если более деликатно, мне она не известна). И постоянный вопрос, как "донести" цели верха до целей низа, ничего не растеряв по дороге, актуален для менеджмента. Проблема KPI, как и любой методологии индивидуального стимулирования [впрочем у меня есть небольшая практика групповых KPI, но я тоже не считаю ее совершенной] понятна. И звучит она примерно так, я свои критерии деятельности исполнил, дайте мне мои честно заработанные бабки. Ах у вас там общий план на уровне организации не выполнен? А я тут при чем, я то свой план выполнил, критерии ведь вы (менеджмент) мне установили, если вы не умеете устанавливать критерии на уровне исполнителей, это ваша проблема, как менеджеров. А мне работяге, дайте мои бабки.
И здесь опять (а в меня сейчас опять начнут кидать камни :) ) встает вопрос о командной работе [в сквозных процессах :) ]. Совершенно ничего не буду иметь против, если критики меня предложат иные альтернативы, я только ЗА.
Первая Теорема Деминга: Никто не беспокоится о долговременной прибыли.
Вторая Теорема Деминга: Нас губят наилучшие усилия.
Аватара пользователя
Роман Озеранский
Администратор форума
Администратор форума
 
Сообщения: 35262
Зарегистрирован: 15 авг 2004, 17:57
Откуда: Москва
Благодарил (а): 0 раз.
Поблагодарили: 272 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Михаил Шустер » 06 фев 2012, 13:01

Андрей Горбунов писал(а):Кто-то скажет, мол, просто неудачно разработана система показателей

Я скажу :D
BSC и TQM объединяет одна проблема: поскольку внутреннее содержание сложно, погоня идет за внешним
Причем БСЦ, как более современная идея, подхвачена всей мощью автоматизаторов. На оракловые дашборды можно любоваться часами, потея от удовольствия. Один лишь "кокпит" чего стоит? Кто не знает - это представление показателей предприятия в виде приборной панели истребителя, вместо диаграмм из коллекций Эксель. Большая часть приборов - стрелочные, для красоты. Как бывший оператор АЭС, заявляю: стрелочники нужны для контроля за динамическими параметрами, когда тебе нужно тут же видеть глазами то, что крутишь руками. Проблема же управленческих процессов - они очень замедленные, для чего главный прибор - самописец (или коллекция Эксель)
За эту красоту неслабо отстегивают, ибо "весомо, грубо, зримо"
А вот если почитать Нортона и Каплана самому, без давления чужих мнений, - так они ведь совсем не о том пишут, о чем их рекламируют. Они пишут просто о здравом смысле, о том, как нужно ДУМАТЬ, чтоб получить какую пользу от идеи. Пишут хорошо, ярко, образно.
Центральная идея проста и пользует свойство телеономичности системы. Никакие измерения не имеют смысла, кроме тех, что нужны по ситуации. Важны только те измерения, что характеризуют отклонение от пути, т.е. от цели. Скажем, крутейший навигатор-просто коробка, если в нем не указано "куда ехать".
Аватара пользователя
Михаил Шустер
Модератор
Модератор
 
Сообщения: 7120
Зарегистрирован: 19 янв 2012, 10:30
Откуда: южноукраинск
Благодарил (а): 351 раз.
Поблагодарили: 729 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Андрей Горбунов » 06 фев 2012, 13:25

Михаил,
бог с ними, Нортоном и Капланом, я ведь не о них.
Я о том, что любая система оценки, построенная на принципе декомпозиции, будет не работающей. Смысл в том, что мы берем показатель (цель) А, разлагаем (декомпозируем) на А1, А2,... АN. Потом берем сумму А1+А2+...+АN и ... не получаем А. Причем, не получаем в принципе.
На мой взгялд, сам подход "перевести стратегию в оперативную деятельность" бессмысленен. Потому как нарушает основополагающие принципы системности: сумма слагаемых системы не равна самой системе или система больше, чем сумма составляющих ее частей. А все эти BSC с KPI построены именно в твердой уверенности, что система = сумма составляющих систему частей.
Ну, а то, что можно нарисовать кучу красивых картинок - так кто бы сомневался, при современном-то развитии компьютерной графики... Одна проблема: управление истребителем принципиально отличается от управления организацией.
Право сомневаться не отменяет обязанности думать
Аватара пользователя
Андрей Горбунов
Администратор форума
Администратор форума
 
Сообщения: 4232
Зарегистрирован: 25 янв 2005, 18:06
Откуда: Москва
Благодарил (а): 13 раз.
Поблагодарили: 278 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Андрей Волков » 06 фев 2012, 13:30

Андрей Горбунов писал(а):На мой взгялд, сам подход "перевести стратегию в оперативную деятельность" бессмысленен. .

не совсем ясно - на основании чего такой вывод?
Андрей Волков
 
Сообщения: 6459
Зарегистрирован: 24 янв 2005, 13:23
Благодарил (а): 114 раз.
Поблагодарили: 106 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Роман Озеранский » 06 фев 2012, 13:44

Андрей Волков писал(а):
Андрей Горбунов писал(а): На мой взгялд, сам подход "перевести стратегию в оперативную деятельность" бессмысленен. .
не совсем ясно - на основании чего такой вывод?

Как говаривал старина Минцберг, термин "стратегическое планирование" представляет собой явный оксюморон. Все опять упирается в хорошую методику декомпозиции. Самая большая проблема менеджмента, что вообще делать с целями для исполнителей, и тут есть ряд неприятных вопросов на которые менеджмент пытается найти ответы:
- должны эти цели вообще быть или нет?
- если должны, то что это за цели?
- и возможно самый неприятный вопрос, где эти цели для каждого исполнителя взять?
Первая Теорема Деминга: Никто не беспокоится о долговременной прибыли.
Вторая Теорема Деминга: Нас губят наилучшие усилия.
Аватара пользователя
Роман Озеранский
Администратор форума
Администратор форума
 
Сообщения: 35262
Зарегистрирован: 15 авг 2004, 17:57
Откуда: Москва
Благодарил (а): 0 раз.
Поблагодарили: 272 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Андрей Горбунов » 06 фев 2012, 13:56

Андрей,
"не совсем ясно - на основании чего такой вывод?" - ну, вообще-то, второе сообщение как раз про основания.
Перед нами две картины: одна - общепризнанный шедевр, другая - работа неизвестного любителя. Мы решили понять, что составляет "шедевральность" и начинаем изучать состав красок, наложение слоев, использованные кисти и т.п. И в итоге приходим к пониманию, что все примерно одно и то же.
А фокус в том, что секрет "шедевральности" находится на ином уровне, не сводимом ни к технике исполнения, ни к использованным материалам. Т.е. впечатление от картины не раскладывается на холст, грунтовку, краски, кисти... Точно так же стратегия не раскладывается на оперативную деятельность - это явления разного порядка.
Право сомневаться не отменяет обязанности думать
Аватара пользователя
Андрей Горбунов
Администратор форума
Администратор форума
 
Сообщения: 4232
Зарегистрирован: 25 янв 2005, 18:06
Откуда: Москва
Благодарил (а): 13 раз.
Поблагодарили: 278 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Михаил Шустер » 06 фев 2012, 13:58

Ох, не хочется мне перед командировкой втягиваться... попробую на скорую руку
Просто надо уметь ИХ готовить. Декомпозиция-основа анализа. Решение-результат синтеза, в котором и возникает новое качество (аддитивность). В жизни термином "анализ" обзывают оба процесса, хотя они ровно противоположны: снизу вверх и сверху вниз, от общего к частному и наоборот. Ход этих процессов исключительно субъективен и людей, способных к синтезу - очень единицы. В общем, разные миры
Реально, все происходит итерационно и кончается на какой-то итерации, иногда на первом полушаге (перед синтезом).
А теперь - внимание
Процесс умничания (рисования показателей) увлекателен, но должен иметь конец, а в конце - доброе слово ЗАЧЕМ?
Умничание имеет смысл, если в конце его находится ДЕЙСТВИЕ, которое можно проверить и оценить
Стратегия, политика, цели... все это нужно, когда в конце находятся МЕРОПРИЯТИЯ, на которые дальше работает план и мониторинг
Просто давайте посмотрим на мероприятия, есть ли они и что в них написано, и что из написанного реально можно сделать, и что с этого будет реально проистекать.
Ну, допустим, "увеличить продажи на 25 %" - за счет каких действий?
Ну, допустим, "увеличить бюджет на рекламу на 50%" - и что с этими деньгами делать?
Ну, допустим, "изменить дизайн бутылки и этикетки, вывести на рынок новую марку" - и это что, на 25% увеличит продажи?
Ну и так далее
А с каких щей берется 25%? А вот с каких: с удорожания в результате монопольного сговора

Дальше. Деятельность предприятия нужно делить на операционную и инновационную. Выше я говорил об инновационной, т.е. действиях, порождающих какие-то конкретные выгоды. Деятельность операционная - это освоенные процессы управления, в которых происходят потери. Снижение этих потерь обычно называют экономией, но тут есть крутое непонимание. Чтобы что-то сэкономить, нужно сначала что-то во что-то вложить (см. мудрый кот Матроскин - чтоб продать что-нибудь ненужное, нужно сначала купить что-нибудь ненужное). Стало быть, экономия в операционной деятельности - это результат инновационной, все тех же действий, мероприятий, вытекающих из анализа, когда целью анализа не является он сам
Ну, допустим, чтобы уменьшить потери от брака, нужно инвестировать в ПТУ - это тотальная кричащая проблема
И не в потемкинскую деревню, а в реальную бурсу, в которой учить реальных сварщиков и сантехников
Однако - это долго. А хочется сейчас.
Какой выход? рисовать показатели и получать сертификат
Аватара пользователя
Михаил Шустер
Модератор
Модератор
 
Сообщения: 7120
Зарегистрирован: 19 янв 2012, 10:30
Откуда: южноукраинск
Благодарил (а): 351 раз.
Поблагодарили: 729 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Михаил Шустер » 06 фев 2012, 14:15

Вот, смотрите в файле, чисто-конкретная работа по теме.
На рисунке показан процесс - он у нас самый сложный и самый критический
В п. 4.2 коротко описан один из подпроцессов. Особое внимание обращаю... на все... но все же, на п. 4.2.4
Риски, которые нужно выявлять и демонстрировать мониторингом, устранять оперативными мерами
У вас нет необходимых прав для просмотра вложений в этом сообщении.
Аватара пользователя
Михаил Шустер
Модератор
Модератор
 
Сообщения: 7120
Зарегистрирован: 19 янв 2012, 10:30
Откуда: южноукраинск
Благодарил (а): 351 раз.
Поблагодарили: 729 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Михаил Шустер » 06 фев 2012, 14:27

Пример выше - ни о чем, если не идти дальше
А дальше находится файл следующего уровня
Смотрите: появился п.п. 10.13 и 10.14
10.14 - это уже совсем близко к телу, большинство из указанного можно видеть, не вставая из-за стола
10.13 - это механизм, заставляющий выполнять указания

ЗЫ: И процессный подход туда запишите :D
У вас нет необходимых прав для просмотра вложений в этом сообщении.
Аватара пользователя
Михаил Шустер
Модератор
Модератор
 
Сообщения: 7120
Зарегистрирован: 19 янв 2012, 10:30
Откуда: южноукраинск
Благодарил (а): 351 раз.
Поблагодарили: 729 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Андрей Горбунов » 06 фев 2012, 14:47

Михаил,
реплика (потом удалю): в 10.14 понравилось наименование графы "Виновный" :-). Хотя я бы написал "Ответственный".
Право сомневаться не отменяет обязанности думать
Аватара пользователя
Андрей Горбунов
Администратор форума
Администратор форума
 
Сообщения: 4232
Зарегистрирован: 25 янв 2005, 18:06
Откуда: Москва
Благодарил (а): 13 раз.
Поблагодарили: 278 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Михаил Шустер » 06 фев 2012, 15:32

Это в работе, сырье. Готовность процентов на 80. Потому публикую, что пока - моя собственность.
Ну и логически разорвал, во избежание, живое же все
Мониторинг будет в отдельный раздел вынесен, а входы-выходы удалены, это пока для себя, чтоб не путаться
Я тоже думал заменить на "Ответственный", чтоб при согласовании не шарахались
Аватара пользователя
Михаил Шустер
Модератор
Модератор
 
Сообщения: 7120
Зарегистрирован: 19 янв 2012, 10:30
Откуда: южноукраинск
Благодарил (а): 351 раз.
Поблагодарили: 729 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Андрей Волков » 06 фев 2012, 15:59

Андрей Горбунов писал(а): Мы решили понять, что составляет "шедевральность" и начинаем изучать состав красок, наложение слоев, использованные кисти и т.п. И в итоге приходим к пониманию, что все примерно одно и то же.
А фокус в том, что секрет "шедевральности" находится на ином уровне, не сводимом ни к технике исполнения, ни к использованным материалам. Т.е. впечатление от картины не раскладывается на холст, грунтовку, краски, кисти... Точно так же стратегия не раскладывается на оперативную деятельность - это явления разного порядка.

однако же в состав шедевра мастера также входит техника, холст, грунтовка, натурщица и прочее. Понятно, что этим всем дело не ограничивается, но без этого всего не будет шедевра. Мастер может поручить подготовку кистей, красок и прочего подмастерьям. Это разве не переход от стратегии к тактике?
Возьмите компьютерную технику Apple. Шедевр? Еще какой. Но он состоит из винтиков, гаечек, кусочков пластика, люминия и прочей прозы.
Следующий момент: большинству организаций до шедевров далеко. Им бы технику подготовки натурщиц наладить, да холсты поискать...
Андрей Волков
 
Сообщения: 6459
Зарегистрирован: 24 янв 2005, 13:23
Благодарил (а): 114 раз.
Поблагодарили: 106 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Андрей Волков » 06 фев 2012, 16:09

Михаил Шустер писал(а):Э
Я тоже думал заменить на "Ответственный", чтоб при согласовании не шарахались

как вариант "источник бед"
Андрей Волков
 
Сообщения: 6459
Зарегистрирован: 24 янв 2005, 13:23
Благодарил (а): 114 раз.
Поблагодарили: 106 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Андрей Горбунов » 06 фев 2012, 16:21

Андрей,
речь несколько не о том. Сколько бы ни изучали технику, материалы и прочее, из данных об этом невозможно понять, почему одна картина - шедевр, а другая нет. Потому как причина этого в другом - не в технике, холсте, красках, кистях и т.п.
Стратегия не выводима и не сводима к оперативной деятельности. Оценивать достижение стратегических целей суммой оперативных показателей - нонсенс. Можно тактические задачи ставить на основе стратегических целей, но сумма выполненных тактических задач не даст достижения стратегической цели. Михаил уже упоминал о свойстве эмерджентности в отношении систем, так вот оно здесь как раз и проявляется.
Право сомневаться не отменяет обязанности думать
Аватара пользователя
Андрей Горбунов
Администратор форума
Администратор форума
 
Сообщения: 4232
Зарегистрирован: 25 янв 2005, 18:06
Откуда: Москва
Благодарил (а): 13 раз.
Поблагодарили: 278 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Андрей Волков » 06 фев 2012, 16:28

Андрей Горбунов писал(а):Стратегия не выводима и не сводима к оперативной деятельности. Оценивать достижение стратегических целей суммой оперативных показателей - нонсенс. Можно тактические задачи ставить на основе стратегических целей, но сумма выполненных тактических задач не даст достижения стратегической цели.

однако еще раз, чтобы удостовериться, что мы говорим об одном.
Из стратегии (на основании стратегических планов, исходя из стратегических целей) рождаются тактические задачи. Они при определенных условиях (!) приводят к выполнении стратегических целей.
Не просто наметили мероприятия, выполнили и сидим ждем счастья. Но и не без этого
Андрей Волков
 
Сообщения: 6459
Зарегистрирован: 24 янв 2005, 13:23
Благодарил (а): 114 раз.
Поблагодарили: 106 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Кольцов Олег » 06 фев 2012, 16:40

Андрей Волков писал(а):
Андрей Горбунов писал(а):Стратегия не выводима и не сводима к оперативной деятельности. Оценивать достижение стратегических целей суммой оперативных показателей - нонсенс. Можно тактические задачи ставить на основе стратегических целей, но сумма выполненных тактических задач не даст достижения стратегической цели.

однако еще раз, чтобы удостовериться, что мы говорим об одном.
Из стратегии (на основании стратегических планов, исходя из стратегических целей) рождаются тактические задачи. Они при определенных условиях (!) приводят к выполнении стратегических целей.
Не просто наметили мероприятия, выполнили и сидим ждем счастья. Но и не без этого

Андрей, на данном диалоге можно удостовериться только в одном: когда пиджаки начинают говорить военные термины, внешне это выглядит очень забавно. В общем изначальном смысле значения слов "стратегия" и "тактика" вопрос декомпозиции стратегических целей был решен наверное несколько тысяч лет назад, по крайней мере мне кажется что без решения этой проблемы Александр Македонский не дошел бы до Индии. :finga:
Я несколько раз давал ссылки на боевые приказы разного уровня - лучший на мой скромный взгляд пример декомпозиции целей, можно даже сказать что с установленными показателями. ;)
Кольцов Олег
 
Сообщения: 6091
Зарегистрирован: 23 сен 2008, 15:48
Откуда: Москва
Благодарил (а): 33 раз.
Поблагодарили: 115 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Михаил Шустер » 06 фев 2012, 16:58

Собссно, именно этого я и опасывался
Выложил образец того, как абстрактные и нигде не работающие КПИ можно заставить работать, если уметь их готовить. Пусть это декомпозиция не цели - она была сделана раньше и процесс уже разработан так, чтобы ее достигать, в процесс встроены элементы, работающие на его целесообразность. А в автоматику встроены алгоритмы и отчеты, которыми машина вытаскивает наружу то, что люди хотят скрыть
Я думал, будут какие-то вопросы к практическому применению теории, но их, видимо не будет
Никаких обид и недовольств. Нормальная демонстрация того, чего стоит "ответ на незаданный вопрос"
Декомпозицию цели показывать ? :)
Аватара пользователя
Михаил Шустер
Модератор
Модератор
 
Сообщения: 7120
Зарегистрирован: 19 янв 2012, 10:30
Откуда: южноукраинск
Благодарил (а): 351 раз.
Поблагодарили: 729 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Андрей Волков » 06 фев 2012, 17:18

Кольцов Олег писал(а):Андрей, на данном диалоге

Олег, Вашу точку зрения я знаю)) Но хочется понять и других))
Андрей Волков
 
Сообщения: 6459
Зарегистрирован: 24 янв 2005, 13:23
Благодарил (а): 114 раз.
Поблагодарили: 106 раз.

Re: BSC, KPI… иллюзия управления?

Сообщение Андрей Волков » 06 фев 2012, 17:20

Михаил Шустер писал(а):Декомпозицию цели показывать ? :)

Конешно!
Однако вопрос: скажите, а КПИ и т.н. "критерии результативности процесса" - не одного ли поля ягодки?
Андрей Волков
 
Сообщения: 6459
Зарегистрирован: 24 янв 2005, 13:23
Благодарил (а): 114 раз.
Поблагодарили: 106 раз.

След.

Вернуться в Методология создания СМК

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2