.
  

© Михаил Доррер

Имитация психологической интуиции с помощью искусственных нейронных сетей

««« К началу

Глава 3. Интуитивное предсказание нейросетями взаимоотношений

3.1 Проблема оценки взаимоотношений

В работе практических психологов, имеющих дело с подбором персонала или исследующих взаимоотношения внутри уже сложившихся групп (примером первого может служить психолог-консультант по подбору персонала, примером второго — офицер по работе с личным составом в частях, классный руководитель в школе) постоянно возникает задача установления и прогноза межличностных отношений в группе.

Под отношением в данной работе понимается психологический феномен, сутью которого является возникновение у человека психического образования, аккумулирующего в себе результаты познания конкретного объекта действительности (в общении это другой человек или группа людей), интеграции всех состоявшихся эмоциональных откликов на этот объект, а также поведенческих ответов на него [24]. Кроме того, общение обыкновенно происходит в условиях определенной ситуации: в присутствии других людей, которые для общающихся в разной степени субъективно значимы, на фоне какой-то конкретной деятельности, при действии каких-либо экспериментальных факторов.

3.2 Общая задача экспериментов

В данной работе была поставлена задача смоделировать и, по возможности, спрогнозировать систему взаимоотношений в группе на основе состояния и поведения исследуемых, оставляя в стороне такие аспекты формирования отношений между людьми, как внешний облик, приписываемые человеку цели и мотивы [24]. Оценке и прогнозу подвергались межличностные «статусно-ролевые» [79] отношения в группах. Оценка совместимости «человек-человек» и «группа-человек» велась по оценке статуса исследуемых — индивидуальной (от каждого к каждому) и групповой (от группы к человеку).

Задача моделирования и прогнозирования взаимоотношений людей в группе (коллективе) неоднородна — она может быть условно подразделена на следующие подзадачи:

— прогноз вхождения исследуемого в сложившийся коллектив;

— прогноз совместимости между собой двух исследуемых.

Кроме того, при проведении экспериментов предполагалось апробировать к задаче прогноза межличностных отношений методику интуитивной выдачи предсказания минуя создание описанной (дескриптивной) [26] реальности.

3.3 Применяемые в экспериментах психологические методики

Для определения фактических отношений в исследуемых группах применялась социометрическая методика. Данная методика позволяет определить положение исследуемого в системе межличностных отношений той группы, к которой он принадлежит. Социометрическое исследование группы обычно проводится тогда, когда группа включает в себя не менее 10 человек и существует не менее одного года. Всем членам исследуемой группы предлагается оценить каждого из товарищей (включая и самого себя — появляется возможность изучения самооценки исследуемых). В стандартном варианте методики оценка ведется по трехступенчатой шкале предпочтений — «приемлю — безразличен — отвергаю». Однако для получения большей разрешающей способности методики шкала была модифицирована до десятибалльной. В используемом варианте социометрического исследования применялось следующее задание: «Оцените своих товарищей, задав себе вопрос: «Насколько я бы хотел работать с этим человеком в одной группе?». Поставьте в соответствующей графе оценку от 1 до 10 баллов по следующему принципу: 1 — не хочу иметь с ним ничего общего, 10 — с этим человеком я бы хотел работать сильнее всего».

Результатом исследования для каждого из испытуемых в группе являлась стеновая оценка статуса и экспансивности. Стен [20] представляет собой усредненную оценку, нормированную в предположении, что оценки распределены по закону нормального распределения и, следовательно, выполняется правило «трех сигм». Статусом именуется стеновый балл всех оценок, сделанных данному члену группы, экспансивностью — стеновый балл всех оценок, сделанных данным испытуемым всем остальным представителям группы.

В процессе экспериментов предполагалось подтвердить (или отвергнуть) гипотезу о том, что нейросеть позволяет на основе психологических особенностей людей (представителей группы) моделировать взаимоотношения в группе и выдавать прогноз по вхождению в группу нового члена и по взаимоотношениям двух индивидуумов. Предполагалось также оценить качество прогноза — возможные значения ошибок и их распределение.

Описание личностных качеств испытуемых предполагалось получить на основе опросника, составленного А.Г. Копытовым (ППФ КГУ). Опросник включает в себя три субтеста, каждый из которых составлен из вопросов, предназначенных для определения константных свойств человеческой личности — темперамента, эмоциональности, контактности и т. п. Общее число вопросов — 90, в первом субтесте — 29, во втором — 25 и в третьем — 36. Текст опросников — см. Приложение 3.

Сбор данных производился путем проведения одновременного анкетирования в студенческих учебных группах по опроснику А.Г. Копытова и социометрического исследования. Затем результаты социометрии обрабатывались на специально разработанной программе (см. Приложение 2), рассчитывающей стеновые оценки статуса и экспансивности.

Эксперименты по обучению нейронных сетей производились на нейросетевом имитаторе MultiNeuron v2.0 в режиме предиктора, то есть нейросети, имеющей на выходе вещественное число (подробное описание — см. [85], [87]).

3.4 Эксперименты по предсказанию группового статуса

В этой серии экспериментов предполагалось проверить, насколько нейронные сети способны моделировать вхождение в группу отдельного человека.

По вышеописанной методике были обследованы три студенческие группы — третьего, четвертого и пятого курсов, общее число собранных анкет — 48 (19, 17 и 12 по группам соответственно). Результаты анкетирования каждой из групп был составлен задачник, представляющий собой реляционную таблицу, включающую следующие поля:

№ — автоиндексируемый номер записи, ID — номер испытуемого по списку группы, w1_1 — w1_29 — ответы на вопросы первого субтеста, w2_1 — w2_25 — ответы на вопросы второго субтеста, w3_1 — w3_36 — ответы на вопросы третьего субтеста, to1 — to30 — оценки, выставленные данным испытуемым членам группы (строка социометрической матрицы), St — значение стеновой оценки статуса данного испытуемого, Ex — экспансивности.

Для первого и третьего субтестов, у которых вопрос имел два варианта ответа («Да»/«Нет»), ответ кодировался по принципу 1 — «Да», 2 — «Нет». Второй субтест, имеющий три варианта ответов («а», «б, «в») — 1 — вариант «а», 2 — «б», 3 — «в».

При формирования структуры задачника поля w1_1 — w3_36 были обозначены как входные, поле Ex — как выходное. Нейросеть в процессе обучения должна была приобрести умение предсказывать статус члена группы по его ответам на опросник А.Г. Копытова.

Таблица 1. Результаты экспериментов по подбору оптимальных параметров нейросети, решающей задачу предсказания статуса исследуемых.

№№ Характеристики сети Hвыб
Nneu s
1 16 0.1 2,475
2 16 0,4 2,791
3 16 0,7 2,488
4 32 0,1 2,569
5 32 0,4 3,006
6 32 0,7 3,384
7 64 0,1 2,891
8 64 0,4 2,703
9 64 0,7 2,676

На первом этапе были проведены эксперименты для выяснения оптимальных параметров нейросети, предназначенной для решения задачи предсказания статуса члена группы. Из-за малочисленности выборок эксперименты велись в режиме «скользящего тестирования», когда для решения задачи обучается столько же сетей, сколько задач в задачнике. При обучении каждой из сетей одна задача исключалась, и потом сеть тестировалась по ней. Для оценки качества предсказания Hвыб применялся средний модуль ошибки ,

, чем ниже значение — тем, соответственно лучше предсказание. Результаты этого этапа экспериментов сведены в таблицу 1.

Значения чисел нейронов — Nneu — были взяты из следующих соображений: нейросети с числом нейронов менее 16 обучались решению задачи неустойчиво, процесс оптимизации постоянно заходил в тупик, а Hвыб во всех таких экспериментах превышало 3 (30% относительной погрешности). 64 является максимально допустимым значением числа нейронов для программы MultiNeuron v.2.0. Значения характеристических чисел нейронов были распределены в интервале от 0.1 до 0.7, поскольку данный интервал является, по опыту, накопленному в группе «НейроКомп» [32], [33], [34], [36], [39], [41], [59], [84], [86], интервалом, в котором как правило лежат оптимальные характеристические числа нейронов.

Таким образом, по результатам данной серии экспериментов оптимальным было признано количество нейронов, равное 16, и характеристический параметр нейрона равный 0.1, поскольку данные значения обеспечивают наилучшую выборочную оценку качества прогноза Hвыб.

Следующим этапом работы была серия экспериментов, позволяющих оценить точность предсказания статуса исследуемых внутри групп. Для каждой из групп было выполнено обучение сетей для проведения скользящего контроля. Затем результаты скользящего контроля фиксировались и сводились в табл. 2.

Таблица 2. Результаты экспериментов по установлению точности предсказания статуса исследуемых внутри групп

Количество испытуемых Hвыб
1 19 2,587
2 17 2,854
3 12 2,475

Однако, по опыту применения нейроимитаторов, известно, что на одних и тех же обучающих выборках предсказание выдаваемое сетью может существенно разниться.

Причина этого в том, что начальная карта синаптических весов генерируется случайным образом. Для преодоления данной проблемы в практике создания нейросетей (см. например [36]) используется предсказание ответов группой сетей, обученных на одних и тех же данных — консилиумом.

Решено было применить этот метод и для данной задачи. При проведении скользящего контроля по выборке для каждого из случаев обучалась не одна нейросеть, а десять.

Фиксировались средние выборочные значения ошибки предсказания статуса каждым из экспертов, а затем, оценивалась погрешность предсказания всем консилиумом.

Для этого в качестве ответа на каждую из задач скользящего контроля подавалось среднее значение ответов десяти нейросетей — экспертов. Результаты этого эксперимента представлены в табл. 3.

Таблица 3. Оценки погрешностей предсказания статуса исследуемых в группах консилиумами сетей.

Nиссл H1 H2 H3 H4 H5 H6 H7 H8 H9 H10 Hср Hвыб
19 3,02 3,68 3,88 4,13 3,14 3,38 4,09 3,46 2,82 3,32 3,49 2,83
17 3,32 4,80 4,33 4,50 4,46 3,15 3,72 4,31 3,20 4,51 4,03 3,84
12 2,20 2,68 3,23 2,59 3,86 2,96 2,82 3,28 3,52 2,58 2,97 2,41

Здесь Nиссл — число исследуемых в данной группе, H1 — H10 — средние ошибки предсказания статуса для каждой из сетей консилиума, Hср — среднее значение ошибки по всем сетям консилиума, Hвыб — ошибка предсказания всем консилиумом.

Таким образом по трем группам средний модуль ошибки составляет 3,08 (или, в относительных цифрах, средняя погрешность составляет 30,8%).

Такая погрешность является удовлетворительной для задачи предсказания статуса членов группы, поскольку как правило не выводит испытуемого из групп классификации — «лидер»-«середняк»-«аутсайдер», то есть отражает тенденцию вхождения в группу нового человека.

Кроме того, при статистическом исследовании экспериментальных выборок было вычислено среднее расстояние между случайными оценками и

,

где N — количество элементов выборки.

Можно считать, что характеризует математическое ожидание расстояния между двумя случайными примерами выборки.

Для экспериментов установления статуса тестируемых в группе , или 40.33%. Таким образом можно утверждать, что полученная сетью погрешность (30,8%) значимо отличается от случайной.

Следующая серия экспериментов производилась с целью уяснения, насколько можно предсказывать результаты вхождения в одну группу на базе опыта, накопленного сетью по другой группе.

В ходе экспериментов для каждой из групп был обучен консилиум из десяти нейросетей (их характеристики, как и в предыдущих экспериментах, Nneu=16, s=0,1). Здесь задачник подавался для обучения полностью, то есть сеть обучалась предсказанию статуса по всем представителям группы. Затем на сетях этого консилиума тестировались две другие группы.

Для сглаживания фактора случайности при генерации сетей в качестве вычисленных значений при расчете ошибки определения статуса брались по каждой оценке средние значения из вычисленных десятью сетями консилиума. Результаты этой серии экспериментов представлены в табл. 4.

Таблица 4. Результаты перекрестного тестирования

Об. Тст. H1 H2 H3 H4 H5 H6 H7 H8 H9 H10 Hср Hвыб
1 2 1,87 3,96 2,85 3,65 4,62 1,82 2,82 1,97 1,77 4,32 2,97 2,48
1 3 2,26 3,98 3,58 3,61 2,36 2,46 3,64 2,16 2,55 3,11 2,97 1,79
2 1 4,31 4,03 3,92 3,48 4,17 3,66 3,83 4,33 4,03 3,78 3,95 3,5
2 3 3,82 1,81 2,91 3,43 2,75 3,13 3,08 2,53 2,57 3,06 2,91 2,05
3 1 3,4 4,09 3,21 2,91 2,76 3,65 3,03 2,56 2,89 3,51 3,20 2,79
3 2 3,60 3,28 3,72 2,94 4,24 4,30 3,91 4,35 3,60 4,13 3,81 3,77

Здесь Об. — порядковый номер группы, по которой обучались нейронные сети консилиума, Тст. — порядковый номер группы, по которой сети тестировались.

При анализе данной серии экспериментов заметны следующие закономерности:

— предсказание социального статуса испытуемых нейронными сетями, обученными по другим группам (не по тем, в которой производилось определение статуса при социометрическом опросе) по своему качеству несколько хуже, чем такое же предсказание, сделанное нейросетями, обученными на этой же группе;

— однако, в большинстве случаев (в двух третях из проведенных экспериментов) оценка качества (средний модуль ошибки Hвыб) является приемлемой (менее 3 баллов или, в относительных значениях — менее 30%);

— хорошо видно, как при предсказании статуса испытуемых в группах реализуется принцип создания надежных систем из ненадежных элементов, заложенный в концепцию нейронных сетей: ошибка предсказания одной нейросетью может составлять неприемлемо большую величину, однако консилиум из нескольких нейросетей решает задачу существенно лучше — ошибка предсказания консилиумом сетей меньше большинства из ошибок отдельных сетей, она также всегда меньше чем среднее значение ошибок отдельных сетей консилиума.

После оценки качества предсказания между группами решено было проверить гипотезу о том, что нейросеть может накапливать опыт не только по отдельной группе, но и аккумулировать его по любой заданной последовательности испытуемых. Для проверки гипотезы была предпринята следующая серия экспериментов: данные по всем группам были объединены в один задачник, по которому проводилось скользящее тестирование консилиума из десяти сетей — экспертов. Результаты данной серии из 480 экспериментов представлены в табл. 5.

Таблица 5. Результаты тестирования консилиумов сетей, обученных по полной выборке.

№ эксперта Hвыб
1 3,02
2 2,56
3 2,88
4 3,04
5 2,94
6 2,88
7 2,74
8 2,46
9 2,59
10 3,12
Весь консилиум 2,32

Видно, что, как и в предыдущей серии экспериментов, погрешность каждого из экспертов (и, как минимум, математическое ожидание погрешности) выше, чем погрешность консилиума, то есть математическое ожидание оценок по консилиуму сетей всегда (или, вернее, в большинстве случаев) ближе к верному ответу, чем оценки отдельных экспертов.

Кроме того легко заметить, что предсказание статуса исследуемых в группе улучшается с накоплением выборки — оценка погрешности предсказания, сделанного нейросетями, обученными по объединенной выборке лучше, чем в любых других экспериментах.

Иначе говоря, нейросети обладают возможностью аккумулировать опыт предсказания социометрического статуса исследуемых в группе, причем этот опыт не локален — навык, полученный на исследуемых одной группы значим и для оценки исследуемых, принадлежащих к другим группам.

Этот результат подтверждает тезис, приведенный в [98], о том, что оценки равных в группе устойчивы и, видимо, на них не влияет изменение состава группы.

Причина этого феномена, предположительно, в том, что при предсказании статуса испытуемых информация о них существенно ограничена — отсутствуют данные анамнестического плана, данные об их социальном положении.

Этим практически исключается из состава используемых в прогнозе данных информация о внешнем облике, принадлежности к социокультурной или национальной группе — то есть вся социальная история личности и коллектива в целом, хотя известно, что эти факторы могут вызвать существенное различие в поведении людей со схожим типом личности.

Информация же о константных психологических качествах испытуемых относительно однородна от группы к группе, что позволяет нейросети накапливать опыт, основанный на ней.

3.5. Нейросетевое исследование структуры опросника

Следующим этапом работ по прогнозу статуса испытуемых в группах было определение значимости вопросов опросника и исключение из него наименее значимых вопросов.

Согласно результатам главы 2 это может привести к улучшению качества прогноза, выдаваемого нейросетью. Для решения данной задачи была использована возможность вычисления значимости параметров, заложенная в MultiNeuron.

Были обучены пять нейронных сетей по задачнику, включающему все три группы исследуемых, затем, средствами MultiNeuron, определены числовые значения значимости сигналов, соответствующих вопросам опросника.

После этого список вопросов был отсортирован по среднему значению величины значимости. В результате была получена следующая картина (вопросы размещены по убыванию значимости):

1_6. Вы обычно говорите без запинок?
1_23. Вы обычно предпочитаете делать несложные дела, не требующие от Вас большой энергии?
1_7. Легко ли Вы можете найти другие варианты решения известной задачи?
3_24. Самое трудное для Вас — это справиться с собой.
3_28. Вы склонны принимать все слишком близко к сердцу.
3_22. Вам нетрудно внести оживление в довольно скучную компанию.
1_2. Легко ли Вам выполнять работу, требующую длительного внимания и большой сосредоточенности?
1_1. Легко ли Вы генерируете идеи, связанные с работой?
3_10. Вы не раз замечали, что незнакомые люди смотрят на Вас критически.
3_8. Иногда у Вас пропадает или изменяется голос, даже если Вы не простужены.
2_3. Окружающим известно, что у меня много разных идей, и я почти всегда могу предложить какое-то решение проблемы.
1_19. Обычно Вы предпочитаете легкую работу?
1_27. Дрожат ли у Вас иногда руки во время ссоры?
3_20. Некоторые так любят командовать, что Вам все хочется делать наперекор, хотя Вы знаете, что они правы.
2_25. Бывает, что я говорю незнакомым людям о вещах, которые кажутся мне важными, независимо оттого, спрашивают меня, или нет.
2_19. Если начальство или члены семьи меня в чем-то упрекают, то, как правило, только за дело
3_3. Дурные предчувствия всегда оправдываются
2_24. Обычно я спокойно переношу самодовольных людей, даже когда они хвастаются или другим образом показывают, что они высокого мнения о себе.
2_11. Устаревший закон должен быть изменен
3_29. Вы любите готовить (пищу)
3_35. Вы вели дневник.
1_8. Вы когда-нибудь опаздываете на свидание или работу?
2_5. Ко дню рождения, к праздникам (я люблю делать подарки / затрудняюсь ответить / считаю, что покупка подарков несколько неприятная обязанность)
1_9. Часто ли Вам не спится из-за того, что вы поспорили с друзьями?
2_21. При равной продолжительности дня мне было бы интереснее работать(столяром или поваром / не знаю, что выбрать / официантом в хорошем ресторане)
1_3. Испытываете ли Вы чувство беспокойства, что Вас неправильно поняли в разговоре?
1_5. Быстры ли у Вас движения рук?
3_4. Вы очень часто не в курсе дел и интересов тех людей, которые Вас окружают.
1_28. Испытываете ли Вы тягу к напряженной ответственной деятельности?
3_7. Нравятся ли Вам «первоапрельские» шутки?
1_17. Трудно ли Вам говорить очень быстро?
1_15. Всегда ли Вы платили бы за провоз багажа на транспорте, если бы не опасались проверки?
3_25. Временами Вам так нравится ловкость какого-нибудь преступника, что Вы надеетесь, что его не поймают.
1_10. Нравится ли Вам быстро бегать?
3_33. Ваши родители и другие члены семьи часто придираются к Вам
2_2. У меня бывают такие волнующие сны, что я просыпаюсь
3_18. Вы совершаете много поступков о которых потом жалеете (больше и чаще чем другие)
2_10. Думаю, что обо мне правильнее сказать, что я (вежливый и спокойный / верно нечто среднее / энергичный и напористый)
3_34. Временами, когда Вы плохо себя чувствуете, Вы бываете раздражительными.
3_12. Держитесь ли Вы обычно «в тени» на вечеринках или в компаниях?
1_20. Медленны ли Ваши движения, когда Вы что-то мастерите?
3_2. Иногда Вам очень хотелось навсегда уйти из дома
3_31. Вы стараетесь избегать конфликтов и затруднительных положений.
3_16. Иногда по несколько дней Вы не можете отделаться от какой-нибудь пустяковой мысли.
3_11. Вы знаете, кто виноват в большинстве Ваших неприятностей.
1_21. Вы обычно предпочитаете выполнять только одну операцию?
1_18. Дрожат ли у Вас иногда руки во время ссоры?
1_14. Все ли Ваши привычки хороши и желательны?
3_14. Не все Ваши знакомые Вам нравятся.
3_15. Предпочитаете ли Вы иметь поменьше приятелей, но зато особенно близких Вам.
3_13. Иногда Вы не уступаете людям не потому, что дело действительно важное, а просто из принципа.
3_26. Если Вам не грозит штраф, то Вы переходите улицу там, где Вам удобно, а не там, где положено.
2_7. Мне нравится работа разнообразная, связанная с частыми переменами и поездками, даже если она немного опасна
1_29. Нравится ли Вам быстро говорить?
3_9. Вам неловко входить в комнату, где уже собрались и разговаривают люди
2_20. Бывает, что я говорю незнакомым людям о вещах, которые кажутся мне важными, независимо оттого, спрашивают меня, или нет.
3_21. Вы предпочитаете не заговаривать с людьми, пока они сами к Вам не обратятся.
3_23. Когда Вы узнаете об успехах близкого знакомого, у Вас появляется чувство, что Вы неудачник.
1_24. Сосет ли у Вас под ложечкой перед ответственным разговором?
2_14. Мне доставляет удовольствие совершать рискованные поступки только ради забавы
3_6. Временами в голову приходят такие мысли, что лучше о них никому не рассказывать
2_13. Иногда какая-нибудь навязчивая мысль не дает мне заснуть
2_8. Я предпочел бы иметь дачу (в оживленном дачном поселке / предпочел бы нечто среднее / уединенную, в лесу)
2_1. Я предпочитаю несложную классическую музыку современным  популярным мелодиям?
2_22. Когда мною пытаются командовать, я нарочно делаю все наоборот
3_17. Вы часто беспокоитесь о чем-нибудь.
1_22. Бывает ли так, что Вы говорите о вещах, в которых не разбираетесь?
1_16. . Обычно Вам трудно переключать внимание с одного дела на другое?
2_4. У меня бывают такие волнующие сны, что я просыпаюсь
1_11. Испытываете ли Вы постоянную жажду деятельности?
3_19. В гостях Вы держитесь за столом лучше, чем дома.
3_36. Вы легко смущаетесь.
3_30. Вы не осуждаете того, кто стремится взять от жизни все, что может.
2_16. Если бы я работал в хозяйственной сфере, мне было бы интереснее
1_25. Считаете ли Вы свои движения медленными и неторопливыми?
3_32. Справляетесь ли Вы с делом лучше, обдумывая его самостоятельно, а не обсуждая с другими.
2_12. Если кто-то разозлился на меня (Я постарался бы его успокоить / я не знаю, что бы я предпринял / это вызвало бы у меня раздражение)
1_12. Быстро ли Вы читаете вслух?
3_5. Иногда Вы так настаиваете на чем-нибудь, что люди начинают терять терпение
2_18. Обычно я могу сосредоточенно работать, не обращая внимания на то, что люди вокруг меня очень шумят
1_26. Ваша речь обычно медленна и нетороплива?
2_17. Вечер, проведенный за любимым занятием, привлекает меня больше, чем оживленная вечеринка
2_15. Я делаю людям резкие критические замечания, если мне кажется, что они того заслуживают
1_4. Любите ли Вы игры в быстром темпе?
1_13. Если Вы обещали что-то сделать, всегда ли Вы выполняете свое обещание независимо от того, удобно это Вам или нет?
2_9. Я провожу много свободного времени, беседуя с друзьями о тех прежних событиях, которые мы вместе пережили когда-то.
2_6. Иногда у меня бывали огорчения из-за того, что люди говорили обо мне дурно за глаза без всяких на то оснований.
3_27. Вы часто испытываете тягу к новым впечатлениям, к тому, чтобы встряхнуться, испытать возбуждение.
2_23. Люди относятся ко мне менее благожелательно, чем я того заслуживаю своим добрым к ним отношением.
3_1. Часто ли Вы переходите на другую сторону улицы, чтобы не встречаться с кем нибудь из знакомых?

Для определения значимости субтестов теста было произведено вычисление средней значимости по вопросам каждого из них. Субтесты распределились в следующем порядке: наиболее значимый — 1-й, далее — 3-й и наименее значимый — 2-й. Данное распределение можно проиллюстрировать гистограммой (рис. 1). Для построения этой гистограммы все вопросы, отсортированные в порядке убывания значимости, были разбиты на девять десяток, а затем для каждой из них было подсчитано число вхождений вопросов, принадлежащих первому, второму и третьему субтесту.

Рис. 1. Диаграмма распределения вопросов теста по их значимости для предсказания статуса испытуемых.

Для вопросов первого субтеста виден эксцесс распределения в сторону большей значимости, второго — в сторону меньшей, а вопросы третьего — относительно равномерно распределены по всему интервалу.

Была произведена серия экспериментов с целью выяснить достаточный для нейросети объем опросника. На каждом этапе исключалась половина из имеющихся вопросов опросника.

При исключении половины вопросов скользящий контроль консилиума сетей, обученных на выборке по всем группам, дал среднюю погрешность в 24%, при исключении трех четвертей вопросов — в 28% и, наконец, при исключении семи восьмых нейросети обучиться не смогли.

Таким образом, примерно половина вопросов и без того изначально минимизированного теста оказалась для нейросети избыточной, даже приводящей к ухудшению оценки качества предсказания. Оптимальным можно признать опросник из половины вопросов, максимальных по своей значимости для нейронной сети, поскольку результаты тестирования для него лучше чем для всех остальных вариантов, включая и полный набор вопросов.

3.6. Оценка оптимизации задачника нейросетью с позиций теории информации

Разницу между первоначальным (заданным психологом) и требуемым нейросети для успешного решения задачи объемом опросника можно оценить с позиций теории информации [95].

Начальное количество информации, содержащейся в тесте можно оценить исходя из того, что вопросы первого и третьего тестов бинарны (варианты ответов «Да» и «Нет», вероятность наступления каждого из них — 0.5), а ответы на вопросы второго — могут с равной вероятностью соответствовать наступлению одного из трех событий, которые будем считать равновероятными (варианты ответов «А», «Б» и «В», p=0.333). Тогда, исходя из формулы Шеннона

и учитывая, что количество вопросов в первом субтесте — 29, во втором — 25 и в третьем — 36 можем вычислить суммарное количество информации, содержащееся в ответах на вопрос теста:

.

После исключения половины вопросов из-за их малой значимости для нейронной сети в оптимизированном опроснике осталось 16 вопросов первого субтеста, 9 — второго и 20 — третьего. Количество информации, оставшееся после оптимизации:

,

то есть количество информации при оптимизации сократилось несколько более чем вдвое.

3.7. Эксперименты по предсказанию парных взаимоотношений

В этой серии экспериментов предполагалось установить, способны ли нейросети воспроизвести взаимоотношения пары испытуемых.

Обучающие выборки имели следующую структуру: № — номер примера, ID_From — номер оценивающего, ID_From — имя оценивающего, ID_To — номер оцениваемого, Name_To — имя оценивающего, w1_1_From — w3_36_From — ответы на вопросы опросника А.Г. Копытова, данные оценивающим, w1_1_To — w3_36_To — ответы на вопросы опросника А.Г. Копытова, данные оцениваемым, Ocen — данная оценка.

В задачник включались строки, соответствующие всем клеткам социометрической матрицы кроме диагональных, отвечающих за самооценку испытуемых.

Был сформирован задачник по группе 5-го курса. В него вошли 132 примера, по которым было произведено обучение соответствующего числа сетей по методике скользящего контроля.

В силу большой трудоемкости задачи обучения по выбооркам такого объема и размерности (обучение одной сети занимает около 40 мин.) обучения консилиумов не проводилось.

Результат скользящего контроля следующий: средняя относительная ошибка предсказания парных взаимоотношений в группе составила 33,1%.

Затем было вычислено среднее расстояние между случайными оценками и , вычисляемое, как и в п.3.4, по формуле

,

где N — количество примеров обучающей выборки.

Данная величина составила 6.612 (или, относительно шкалы измерения признака, 66.12%), то есть отличие предсказания сети от случайного почти двукратное.

Таким образом, можно говорить, что нейронные сети могут предсказывать не только усредненный статус члена группы, но и взаимоотношения между двумя произвольно взятыми личностями.

Выводы главы 3

1. Нейронная сеть способна на основе только психологических свойств исследуемых, без привлечения фактов социальной истории исследуемых личностей, интуитивно порождать прогноз результатов социометрического эксперимента на базе, со средней ошибкой 23-30%.

2. Данный прогноз общезначим для всех исследуемых с равным социальным статусом и устойчив относительно состава группы.

3. Аппарат нейронных сетей позволяет оптимизировать психодиагностические тестовые методики по объему точнее, чем это доступно даже опытному психологу.

Работа выполнялась в 1994-1997 годах под руководством А.Н.Горбаня. Основные публикации автора по теме работы

  1. Dorrer M.G. Neural networks instead of psychological measurements // Abstracts of the 3rd International conference «Mathematics, computer, education». Dubna, 1996.
  2. Dorrer M.G., Gorban A.N., Kopytov A.G. Simulation of psychological intuition by means of neural networks // New Concepts to Uncover Higher Brain Functions. The 5th Tohwa university International Symposium. Fukuoka, Japan: Tohwa University, 1995. — p.153.
  3. Dorrer M.G., Gorban A.N., Kopytov A.G. Zenkin V.I. Psychological intuition of neural networks // Proceedings of the WCNN’95 (World Congress on Neural Networks’95, Washington DC, Juli 1995) — pp. 193-196
  4. Dorrer M.G., Gorban A.N., Zenkin V.I. Neural networks in psychology: classical explicit diagnoses // Neuroinformatics and neurocomputers, Proceedings of the 2nd RNNS-IEEE Symposium, Rostov-on-Don, September 1995 — pp 281-284
  5. Gorban A.N., Rossiev D.A., Butakova E.V., Gilev S.E., Golovenkin S.E., Dogadin S.A., Dorrer M.G., Kochenov D.A., Kopytov A.G., Maslennikova E.V., Matyushin G.V., Mirkes Ye.M., Nazarov B.V., Nozdrachev K.G., Savchenko A.A., Smirnova S.V., Shulman V.A., Zenkin V.I. Medical, psychological and physiological applications of MultiNeuron neural simulator // Neuroinformatics and neurocomputers, Proceedings of the 2nd RNNS-IEEE Symposium, Rostov-on-Don, September 1995 — pp 7-14
  6. Gorban A.N., Rossiev D.A., Gilev S.E., Dorrer M.G., Kochenov D.A., Mirkes Ye.M., Golovenkin S.E., Dogadin S.A., Nozdrachev K.G., Matyushin G.V., Shulman V.A., Savchenko A.A. Medical and physiological applications of MultiNeuron neural simulator // Proceedings of the WCNN’95 (World Congress on Neural Networks’95, Washington DC, Juli 1995) — paper № 050
  7. Gorban A.N., Rossiev D.A., Gilev S.E., Dorrer M.G., Kochenov D.A., Mirkes Ye.M., Golovenkin S.E., Dogadin S.A., Nozdrachev K.G., Matyushin G.V., Shulman V.A., Savchenko A.A. «NeuroComp» group: neural network software and its application // Russian Academy of Sciences, Krasnoyarsk Computing Center, Preprint №8. — Krasnoyarsk, 1995 — 38p.
  8. Доррер М.Г. Обработка психологической информации при помощи нейронных сетей. // Проблемы информатизации региона: Материалы второй межрегиональной конференции. Красноярск: КГТУ, 1997. — с.33-43.
  9. Доррер М.Г. Полутораслойный предиктор с произвольными преобразователями. // Проблемы информатизации региона: Труды Третьей Всероссийской конференции (Красноярск, 25-27 ноября 1997 г.). — Красноярск: АО «Диалог-Сибирь», 1997г. -с.143.
  10. Доррер М.Г. Попытка применения нейронных сетей для прогнозирования психологической совместимости в группе. // Нейроинформатика и ее приложения: Программа и тезисы докладов II всероссийского рабочего семинара. — Красноярск: КГТУ, 1994. — с.13.
  11. Доррер М.Г., Горбань А.Н., Копытов А.Г., Зенкин В.И. Психологическая интуиция нейронных сетей // Нейроинформатика и ее приложения: Материалы III всероссийского рабочего семинара. — Красноярск: КГТУ, 1995. — с.114-127.

ЛИТЕРАТУРА

  1. Amari S. — I. The Brain and Computer // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29, 1993. — Nagoya, 1993. — v.1. — p.7-8.
  2. Asary K.V., Eswaran C.A. Self-organizing Neural Network for Multidimensional Mapping and Classification of Multiple Valued Data // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29, 1993. — Nagoya, 1993. — v.2. — p.2488-2491.
  3. Atamanchuk Z.M., Petrov A.A. Some problems of building and learning of neural networks while creating user’s expert systems diagnoses // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 — v.2. — pp 1133-1135.
  4. Baxt W.G. Complexity, chaos and human physiology: the justification for non-linear neural computational analysis // Cancer Lett. — 1994. — v.77, №2-3. — p.85-93.
  5. Becraft W.R. Diagnostic applications of artificial neural networks // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29, 1993. — Nagoya, 1993. — v.2. — p.2807-2810.
  6. Bedenbaugh P., Gerstein G.L. Rectification of correlation by a sigmoid non-linearity // Biol. Cybern. — 1994. — v.70, №3. — p.219-225.
  7. Berrios G.E., Chen E.Y. Recognizing psychiatric symptoms. Relevance to the diagnostic process // Br. J. Psychiatry. — 1993. V.163. — p.308-314.
  8. Cohen I.L., Sudhalter V., Landon-Jimenez D. et al. A neural network approach to the classification of autism // J. Autism Dev. Disord. — 1993. — v.23, №3. — p.443-466.
  9. Forrest D.V., Flory M.J., Anderson S. Neural network programming // N.Y.State J. Med. — 1991. — v.91, №12. — p.553.
  10. Fu H.C., Shann J.J. A fuzzy neural network for knowledge learning // Int. J. Neural Syst. — 1994. — v.5, №1. — p.13-22.
  11. Galushkin A.I., Savushkin S.A. Neural Network expert system // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 — v.2. — pp 1116-1123.
  12. Galushkin A.I., Sudarikov V.A., Shabanov E.V. Neuromathematic: the methods of solving problems on neurocomputers // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 — v.2. — pp 1179-1188.
  13. Modai I., Stoler M., Inbar-Saban N. et al. Clinical decisions for psychiatric inpatients ant their evaluation by a trained neural network // Methods Inf. Med. — 1993 — v.32, №5. — p.396-399.
  14. Sima J., Neruda R. Neural networks as expert systems // Neural Network Worl. — 1992 — v.2, №6. — p.775-783.
  15. Sitting D.F., Orr J.A. A parallel implementation of the backward error propagation neural network training algorithm: experiments in event identification // Comput. Biomed Res. — 1992. — v.25, №6. — p.547-561.
  16. Аванесов В.С. Тесты в социологическом исследовании. — М., 1982 — 199с.
  17. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. — М.: Статистика, 1974 — с. 240.
  18. Айвазян С.А., Бухштабер В.М., Енюков С.И., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. — М.: Финансы и статистика, 1989 — с.607
  19. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Статистическое оценивание зависимостей. — М.: Финансы и статистика, 1983 — с.471.
  20. Анастази А. Психологическое тестиование. — М. Педагогика, 1982 — кн.1 — с.320, кн.2 — с.360.
  21. Ануфриев А.Ф. Психодиагностика как деятельность и научная дисциплина. // Вопросы психологии — 1994 — №2 — с.123-131.
  22. Барцев С.И. Некоторые свойства адаптивных сетей. — Красноярск, 1987. — 17 с. — (Препринт / ИФ СО АН СССР; № 71Б.)
  23. Барцев С.И., Гилев С.Е., Охонин В.А. Принцип двойственности в организации адаптивных систем обработки информации. // Динамика химических и биологических систем. — Новосибирск: Наука. Сибирское отделение, 1989. — с.6-55.
  24. Бодалев А.А. О взаимосвязи общения и отношения // Вопросы психологии — 1994 — №1 — с.122-126.
  25. Боннер Р.Е. Некоторые методы классификации // Автоматический анализ изображений. — М.: Мир, 1969 — с.205 — с.234.
  26. Бурлачук Л.Ф., Коржова Е.Ю. К построению теории измеренной индивидуальности в психодиагностике. // Вопросы психологии — 1994 — №5 — с.5-12.
  27. Бурлачук Л.Ф., Морозов С.М. Словарь — справочник по психологической диагностике. — Киев: Наукова думка, 1989 — с.200.
  28. Буч Г. Объектно-ориентированное программирование с примерами применения. — М.: Конкорд, 1992. — с.36.
  29. Вапник В.Н., Глазкова Т.Г., Кощеев .В.А., Михальский А.И., Червоненкис А.Я. Алгоритмы и программы восстановления зависимостей. — М.: Наука, 1984, с.8-11, 27-32, 42-55.
  30. Вапник В.Н., Червоненкис А.Ф. Теория распознавания образов. — М.: Наука, 1974.
  31. Гаврилова Т.А., Червинская К.Р., Яшин А.М. Формирование поля знаний на примере психодиагностики. // Известия АН СССР. Техническая кибернетика. — 1988. — №5. — с.72-85.
  32. Гилев С.Е. Сравнение характеристических функций нейронов. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». — Красноярск: изд. КГТУ, 1995 — с.82.
  33. Гилев С.Е., Горбань А.Н., Миркес Е.М. и др. Определение значимости обучающих параметров для принятия нейронной сетью решения об ответе. // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара, 8-11 октября 1993 г. — Красноярск: Институт биофизики СО РАН, 1993. — с.8.
  34. Гилев С.Е., Коченов Д.А., Миркес Е.М., Россиев Д.А. Контрастирование, оценка значимости параметров, оптимизация их значений и их интерпретация в нейронных сетях // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». — Красноярск: изд. КГТУ, 1995 — с.66-78.
  35. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. — М.: Прогресс, 1976 — 495с.
  36. Горбань А.Н.  Обучение нейронных сетей.— М. СП ПараГраф — 1990.
  37. Горбань А.Н., Миркес Е.М. Кодирование качественных признаков для нейросетей // Тезисы докладов II всероссийского семинара «Нейроинформатика и ее приложения». — Красноярск: изд. КГТУ, 1994 — с.29.
  38. Горбань А.Н., Миркес Е.М. Компоненты нейропрограмм. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». — Красноярск: изд. КГТУ, 1995 — с.17.
  39. Горбань А.Н., Миркес Е.М. Контрастирование нейронных сетей. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». — Красноярск: изд. КГТУ, 1995 — с.78-79.
  40. Горбань А.Н., Миркес Е.М. Функциональные компоненты нейрокомпьютера. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». — Красноярск: изд. КГТУ, 1995 — с.79-90.
  41. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. — Новосибирск: Наука, 1996 — с.144.
  42. Грановская Р.М., Березная И.Я. Интуиция и искусственный интеллект. — Л.: ЛГУ, 1991. — 272с.
  43. Губерман Т.А., Ямпольский Л.Т. Применение алгоритмов распознавания образов в психодиагностике // Вопросы психологии, 1983 №5. — с.118-125.
  44. Дантенманн Дж., Мишел Дж., Тейлор Д. Программирование в среде Delphi. — Киев: DiaSoft, 1995.
  45. Дарахвелидзе  П., Марков Е. Delphi — среда визуального программирования. — Санкт-Петербург: BHV, 1996.
  46. Деннис Дж. Мл., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. — М.: Мир, 1988 — с.440.
  47. Дюк В.А. Компьютерная психодиагностика. — Санкт-Петербург: Братство, 1994.
  48. Елисеева И.И., Рукавишников В.О. Группировка, корреляция, распознавание образов (Статистические методы классификации и измерения связей). — М.: Статистика, 1977 — с.144.
  49. Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа: Пакет ППСА. — М.: Финансы и статистика, 1986 — с.232
  50. Житков Г.Н. Некоторые методы автоматической классификации.// Структурные методы опознавания и автоматическое чтение. М.: ВИНИТИ, 1970 — с.68 — с.85.
  51. Журавлев Ю.И. Непараметрические задачи распознавания образов // Кибернетика — №6 — 1976 — с.93-103.
  52. Журавлев Ю.И., Гуревич И.Б. Распознавание образов и анализ изображений // Искусственный интеллект. — В 3-х кн. Кн.2. — М.: Радио и связь, 1990 — с. 304.
  53. Журавлев Ю.И., Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. М.: Наука, 1978, вып.33 — с.5-68.
  54. Забродин Ю.М., Похилько В.И., Шмелев А.Г. Статистические и семантические проблемы конструирования и адаптации многофакторных личностных тест-опросников. // Психологический журнал, т.8, №6, 1987 — с.79-89.
  55. Загоруйко Н.Г., Елкина В.Н., Лбов Г.С. Алгоритмы обнаружения эмпирических закономерностей. — Новосибирск: Наука, 1985 — 110с.
  56. Зеличенко А.И. Интеллектуальные системы и психологическое знание. // В книге: Компьютеры и познание. — М.: Наука, 1990 — с.69-86.
  57. Кабанов М.М., Личко А.И., Смирнов В.М. Методы психологической диагностики и коррекции в клинике. М. Медицина — 1983
  58. Килверт Ч. Энциклопедия Delphi 2. Киев: DiaSoft, 1996.
  59. Коченов Д.А., Россиев Д.А. Аппроксимация функций класса нейросетевыми предикторами // Тезисы докладов рабочего семинара «Нейроинформатика и нейрокомпьютеры», Красноярск, 8-11 октября 1993 г.. — Красноярск, 1993 — с.13.
  60. Кулагин Б.В., Сергеев С.Т. Типологический подход к исследованию проблемы профотбора // Психологический журнал, 1989, т.10, №1
  61. Логико-гносеологические и методологические проблемы прогноза. — М., 1986.
  62. Мельников А.В. О применении персональных компьютеров в психологии. // Психологический журнал, т.10, №1, 1989 — с.56-61.
  63. Миллер Т., Пауэл Д. И др. Использование Delphi 3. — Киев: Диалектика, 1997 — 768 с.
  64. Минский М., Пайперт С. Персептроны. — М.: Мир, 1971
  65. Миркин Б.Г. Анализ качественных признаков и структур. — М.: Статистика, 1980. — с.319.
  66. Налимов В.В. Теория эксперимента. — М: Наука, 1971 — с.208.
  67. Нейроинформатика и ее приложения // Материалы II всероссийского семинара. Красноярск, 1995.
  68. Нейроинформатика и ее приложения // Материалы III всероссийского семинара. Красноярск, 1996.
  69. Нейроинформатика и ее приложения // Материалы всероссийского семинара. Красноярск, 1994.
  70. Нейропрограммы / сборник статей под ред. А.Н. Горбаня //Красноярск, КГТУ, 1994.
  71. Немов Р.С. Психология. / В 3-х кн. Кн 2. Психология образования — М.: Просвещение, 1995.
  72. Немов Р.С. Психология. / В 3-х кн. Кн 3. Экспериментальная педагогическая психология и психодиагностика — М.: Просвещение, 1995.
  73. Никифоров А.М., Фазылов Ш.Х. Методы и алгоритмы преобразования типов признаков в задачах анализа данных. — Ташкент: Фан, 1988 — с. 132.
  74. Оганезов А.С., Суменко О.В. Автоматизация исследования личности по психологической методике MMPI с синтезом словесного диагноза. // Вопросы психологии, 1990, №1. — с.154-157.
  75. Орлик С. Секреты Delphi на примерах. — М.: Бином, 1996 — 316с.
  76. Оузер Д. Освой самостоятельно Delphi 2. — М.: Бином, 1997 — 624с.
  77. Поляк Б.Т. Введение в оптимизацию. М.: Наука, 1983, с. 15-94.
  78. Поспелов Д.А. Данные и знания. Представление знаний // Искусственный интеллект. Кн.2: Модели и методы: Справочник — М.: Радио и связь. — с.7-13.
  79. Практическая психология для преподавателей. / под ред. М.К.Тутушкиной // М.: Филин, 1997 — с. 167.
  80. Психологический словарь / под редакцией В.В. Давыдова, А.В. Запорожца, Б.Ф. Ломова и др. — М.: Педагогика, 1983 — с.140-141
  81. Психология. Словарь. / под общей редакцией А.В. Петровского, М.Г. Ярошевского. — М.: Политиздат, 1990 — с.149.
  82. Пфанцагль И. Теория измерений. — М.: Мир, 1976 — с. 248.
  83. Розенблатт Ф. Принципы нейродинамики. Перцептрон и теория механизмов мозга. — М.: Мир, 1965. — с.480.
  84. Россиев Д.А., Винник Н.Г. Предсказание «удачности» предстоящего брака нейросетевыми экспертами. // Нейроинформатика и ее приложения: Тезисы докладов II всероссийского рабочего семинара, 7-10 октября 1994 г. — Красноярск, 1994. — с.45.
  85. Россиев Д.А., Гилев С.Е., Коченов Д.А. MultiNeuron, версии 2.0 и 3.0 // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». — Красноярск: изд. КГТУ, 1995 — с.14.
  86. Россиев Д.А., Головенкин С.Е., Назаров Б.В. и др. Определение информативности медицинских параметров с помощью нейронной сети // Диагностика, информатика и метрология — 94: Тезисы научно-технической конференции, Санкт-Петербург, 28-30 июня 1994 г. — С-Пб., 1994. — с.348.
  87. Россиев Д.А., Коченов Д.А. Пакет программ «MultiNeuron» — «Configurator» — «Tester» для конструирования нейросетевых приложений. // Нейроинформатика и ее приложения: Тезисы докладов II всероссийского рабочего семинара, 7-10 октября 1994 г. — Красноярск, 1994. — с.30.
  88. Савушкин С.А. Нейросетевые экспертные системы // Нейрокомпьютер — 1992, №2 — с.29-36
  89. Суппес П., Зинес Дж. Основы теории измерений // Психологические измерения. — М.: Мир, 1976 — с.9 — 119.
  90. Тарасов К.Е., Великов В.К., Фролова А.И. Логика и семиотика диагноза: Методологические проблемы. — М.: Медицина, 1989. -272с.
  91. Таунсенд К., Фохт Д. Проектирование и программная реализация экспертных систем на персональных ЭВМ. — М.: Финансы и статистика, 1990 — 320с.
  92. Тихомиров О.К., Собчик Л.Н., Гурьева Л.П., Гарбер И.Е., Тарновская Н.В., Ремизова А.Л. Анализ этапов компьютеризованной психодиагностики (на примере MMPI). // Вопросы психологии, №2, 1990 — с.136-142.
  93. Фу. К. Структурные методы в распознавании образов. -М. Мир, 1977 — с.320.
  94. Цыпкин Я.З. Адаптация и обучение в автоматических системах. — М.: Наука, 1968 — с.400.
  95. Шеннон К. Работы по теории информации в кибернетике, пер. с англ., М., 1963, с. 243-332.
  96. Шмелев А.Г. Психодиагностика и новые информационные технологии. // Компьютеры и познание. — М.: Наука, 1990 — с.87-105.
  97. Шмелев А.Г., Похилько В.И. Анализ пунктов при конструировании и применении тест — опросников: ручные и компьютерные алгоритмы // Вопросы психологии — 1985 — №4 — с.126-134.
  98. Шнейдерман Б. Психология программирования. М.: Радио и связь, 1984 — с.139.
  99. Ямпольский Л.Т. Типологический подход к прогнозу клинических особенностей хронического алкоголизма // Вопросы психологии — 1986 — №2 — с.91 — 99.

««« Назад  К началу  

© М. Г. Доррер
© Публикуется с любезного разрешения автора

Канал в Telegram: @PsyfactorOrg
 
.
   

© Copyright by Psyfactor 2001-2017.
© Полное или частичное использование материалов сайта допускается при наличии активной ссылки на Psyfactor.org. Использование материалов в off-line изданиях возможно только с разрешения администрации.
Контакты | Реклама на сайте | Статистика | Вход для авторов