ФОНОВАЯ АРМАТУРА И «СЛУЧАЙНЫЕ» КОЛОННЫ — Мои статьи — Каталог статей
Создание предметов материальной культуры человечества происходило на основе ранее приобретенного совокупного опыта и, возможно, интуиции создателей. Морские суда, повозки, жилые строения, мосты изготавливались по ранее известным образцам. И на протяжении долгого промежутка времени такая ситуация практически не менялась.
Вопрос о том насколько долго это положения дел могло продолжаться оставим философам и историкам.
Но факт остается в том, что в один прекрасный момент люди захотели что бы лодка плавала быстрее, дома становились вместительннее, а мосты длиннее. Так возникла потребность в точном определении того, что требовалось изготовить или построить.
К счастью, к этому моменту, хорошо подготовились математики. Лагранж, Эллер, Гук и др. внесли большой вклад в разработку математического аппарата Теоретической механики и Теории упругости. К концу XIX века получила достаточное развитие дисциплина получившее название Строительная механика.
После чего проектирования каждого здания стало начинаться с точного расчета.
Но оказалось, что однозначно определить все нагрузки и воздействия на конструкцию здания в течении всего периода эксплуатации здания не представляется возможным. Используя аппарат Статистических методов и Теории Вероятности можно оценить диапазон отклонений нагрузок на конструкцию от осредненных значений (в некотором роде «волатильность» нагрузки). При этом, точность расчета конструкций имеет некоторую «избыточность”, относительно реальных усилий, которые возникают в конструкции (при реальных воздействиях). Следует заметить, что не только усилия имеют случайные значения, но и сам характер усилий в элементах конструкции приобретает черты случайного процесса.
На рис1 а, и б проиллюстрирован случай, на примере балки на упругом основании, когда сам по себе переход от детерминированной модели к стохастической («случайной”) приводит к «появлению” усилий в конструкции!
рис 1а. Схема «детерминированного» основания.
рис 1б. Схема «стохастического» основания.
Кроме того, случайным (вероятностным) являются и сами свойства строительной конструкции, причем они могут меняться, как от внутренних, так и тот внешних факторов. Возьмем к примеру сталь. В зависимости от условий плавки, структура сплава может быть различной в пределах одной номинальной марки стали, при этом различными будут и механические свойство проката, изготовленного из металла этой плавки. Это внутренний фактор. Внешними факторами, могут быть: условия эксплуатации: химическая агрессивность среды, вибрационный воздействия, температурные воздействия и т.д. Они могут быть различными даже для двух зданий (а возможно и для двух колонн), стоящих рядом). На железобетонные конструкции влияют и условия твердения (температура, влажность), и качество уплотнения бетонной смеси, и даже гладкость поверхности минеральных заполнителя. По мнению ряда исследователей на стойкость арматуры в железобетонных конструкциях может повлиять электромагнитный фон (смог) существующий в крупных городах.
Множество подобных факторов серьезно затрудняет точное определения как собственно усилий, так, что особенно важно, и разрушающих нагрузок, на которые необходимо рассчитывать конструкции зданий. Часто бывает, что определить точное значение параметров необходимых для расчета зданий попросту невозможно.
В XX веке, и особенно, в начале нынешнего века, на проектирование и расчет несущих конструкций зданий как это бы не казалось странным, стал оказывать воздействие новый фактор — организационный. В процессе проектирования — проектировщик оказался в ситуации, когда параметры проектируемого здания стали сами по себе случайной величиной. Не редкость, когда этажность и площадь здания увеличиваются в ходе проектирования. Порой материал, типы конструкций, марки стали и бетона заказчиком проекта заменяются на другие. Неопределенность набора помещений при проектировании зданий, привела к сложности в определении( в назначении) несущих стен и колонн. Это явление получило название — «случайные” стены или «случайные” колонны (рис.2).
рис 2. Схема «случайных» колонн.
Таким образом, весь вышеуказанный спектр воздействий на конструкцию здания можно назвать фоновым воздействием. Фоновые воздействия, как правило, действуют все время эксплуатации здания и интегральное значение этих воздействий обычно постоянно. В строительных нормах ряда стран (Украина) к понятию фоновое воздействие близко понятие квазистатичесих нагрузок.
Применительно к железобетонным конструкция, фоновые воздействия вызвали появление фоновой арматуры. Введем определение: Фоновое армирование — армирование воспринимающее основные эксплуатационные (средние) и возможные случайные воздействия и нагрузки на конструкцию, а также участвующее в восприятии нагрузок в случае так называемого непропорционального (прогрессирующего) разрушения здания (сооружения).
В дополнении к фоновым нагрузкам, на здание действуют пиковые нагрузки: порывистые воздействие ветра, максимальные снеговые нагрузки, сейсмические нагрузки, локальные нагрузки от оборудования и т. д. (особые воздействия: взрывные, техногенные, аварийные и т.п. выходят за рамки данной статьи). Пиковые воздействия носят ограниченный по времени характер, но приводят к возникновению в конструкциях максимальных расчетных усилий (рис. 3).
рис 3. Усилия от возможного положения «случайных» колонн.
Отметим, что с точки зрения вероятностной теории прочности фоновые воздействия могут оказывать более существенно значение на прочность всего здания, чем пиковые воздействия. Это возможно из-за того, что накопление повреждений (количество повреждение) пропорционально, как уровню усилия, так и времени воздействия усилия. Однако, учет данного явления на практический расчет здания, пока, не нашел отражения в действующих СНиП.
Наличие определенного количества фоновой арматуры, облегчает работу проектировщика, позволяя свободнее обращаться с расположением стен и колонн при компоновки помещений здания. При этом незначительные изменения местоположения несущих стен и колонн не влекут за собой изменение армирования конструкций. В некоторых случаях, для специально разработанных конструктивных схемах зданий (точное определение данного утверждения выходит за рамки данной статьи) можно говорить, что армирования инвариантно по отношение к расположению несущих вертикальных конструкций. Так называемое конструктивне армирование (которое требуется устанавливать согласно СНиП) является частным случаем фонового армирования. Кроме того, фоновое армирование в условиях массового строительства позволяет избежать ошибочных проектных решений.
Обычно, при правильно запроектированной конструкции, зона расположения фоновой арматуры занимает 85-90% площади конструкции (этажа), а в остальных местах ставиться пиковая арматура , в дополнение к фоновой. При этом, фоновую арматуру проектируют в виде верхней и нижней ортогональной сетки с регулярным шагом (не более 200 мм) и одинаковым для каждого направления диаметром арматуры. Минимальный диаметр арматуры принимают: для плиты толщиной 250 мм — Ø16мм, для плит толщиной 160-200мм — Ø12мм. Пиковая арматура ставится по расчету на максимальные усилия и она может выполняться из отдельных стержней разного диаметра (но не менее диаметра фоновой арматуры). Допускается устанавливать пиковую арматуру только в направлении действия максимальных усилий.
рис 4. Схема «фоновой» и «пиковой» арматуры.
Правильное понимание характера нагрузок воздействующих на конструкцию и способность конструкции по сопротивлению этим нагрузкам в течении всего срока службы конструкции позволит избежать ошибок при проектировании и снизить аварийность при строительстве и эксплуатации зданий и сооружений.
* * *
Фоновое армирование плит в ПК ЛИРА 10.4.
Автор:
Амирханов Мурат
Коллеги, добрый день!
Продолжаю отвечать на вопросы по работе в ПК ЛИРА 10.4
Под установкой фоновой арматуры в программном комплексе понимают настройку визуализации изополей армирования с учетом установки фонового значения армирования. Данное значение устанавливается в расчетном комплексе после проведения расчета конструкций:
Пункт меню «Расчет» — «расчет конструкций»
По результатам расчета пользователь получает довольно пеструю картину армирования, например с такой градацией по цвету:
Такой цветовой диапазон при проектировании не совсем удобен и было бы удобнее отфильтровать значение армирования на 2-3 цвета, одно из которых будет фоновое, а остальные дополнительные. Сделать это можно с помощью цветовой шкалы, нажав по ней правой кнопкой мыши, Вы получите возможность настройки цветового диапазона значений армирования (настраивать значения необходимо в абсолютных значениях)
Выбрав для себя цветовой оттенок для фоновой арматуры, например, желтый (от 0 до 20), Вы щелкаете левой кнопкой мыши по предельному значению диапазона (в нашем случае 20) и устанавливаете значение армирования в см2/м.
Здесь Вы также можете использовать встроенный калькулятор, который позволит пересчитать значение армирования из единиц «диаметр/шаг» в «см2» (вводить значения нужно именно в таком порядке s200d10, где после «s» вы устанавливаете шаг, после «d» — диаметр арматуры)
Можно также выполнять и арифметические действия
В итоге мы получили два диапазона цвета: первый диапазон отвечает за фоновое армирование (армирование сеткой d10 с шагом 200), второй — за дополнительное (дополнительная сетка d12 с шагом 200).
В Лире 10.4 у Вас есть возможность создать пользовательскую шкалу и сохранить ее под своим именем: Сервис – настройка среды – шкала.
Вы можете попробовать данную функцию на схеме для фонового армирования
Возможность проанализировать армирование плиты доступна в демоверсии ЛИРА 10.
Также я готов проконсультировать вас по интересующим вопросам. Для этого можете воспользоваться формой обратной связи.
Принятие решения об армировании плит
Результаты подбора армирования плит в ЛИРА САПР показываются в виде числовых мозаик. Как откорректировать цвета и диапазоны мозаики, см. в статье https://rflira.ru/kb/2/122/.
В рамках этой статьи приведём рекомендации по принятию решения о диаметре арматуры в плите.
Какой выполнять конструирование плиты перекрытия
При конструировании плит перекрытия, часто применяется приём, когда по всей площади плиты устанавливается арматурная сетка с определённым сочетанием параметров шаг/диаметр, например – арматура диаметром 16 мм с шагом 200 мм в двух направлениях, условное обозначение будет выглядеть так d16 200×200. Такую арматурную сетку ещё называют «фоновой арматурой».
Шаг арматурных стержней назначается исходя из:
- обеспечения требуемой площади арматуры;
- удобства размещения стержней;
- возможность бетонирования конструкции;
Наиболее распространённый шаг для армирования безбалочных плит перекрытий — 200х200 мм.
Диаметр арматурных стрежней следует назначать так, чтобы:
- была обеспечена требуемая площадь арматуры;
- расход арматурной стали был рациональным;
Рациональный расход арматурной стали предполагает сосредоточение большого количества арматуры в местах с наибольшей концентрацией изгибающих моментов, т.е. на опорах и в пролёте плиты, а в наименее напряжённых участках, площадь арматуры может быть сокращена до наименьшего допустимого значения по условиям прочности и трещиностойкости.
Реализация метода на примере
Согласно мозаики результатов, в месте опирания плиты на колонну, требуется установить стержни диаметром 32 мм с шагом 200 мм (s200d32), а в пролётной части достаточно s200d14, за исключением участка между колоннами, где требуется s200d18.
Внимание! Просто взять фоновое армирование по минимальному полученному результату, а там, где этой площади не хватит – уложить дополнительные стержни нельзя. Следует проанализировать – не будут ли эти стержни отличаться диаметром. Если отличие в диаметре есть, то нужно проверить, как отразится на работе плиты изменение привязки центра тяжести арматуры и не будут ли нарушены минимальные требования по защитному слою. На основании вышесказанного, расхождения диаметров лучше не допускать.
Способ 1 — работа с числами на шкале армирования
Применим следующий подход: примем раскладку фоновой арматуры с шагом 200 мм. В тех местах, где требуется усиление, шаг 100 мм. Чтобы обеспечить требуемую площадь арматуры для принятых шагов раскладки, возьмём максимальное значение площади арматуры на шкале результатов и разделим на два:
40.2/2=20.1 см2.
Сопоставим это значение со шкалой и подберём диаметр стержня, который эту площадь перекроет.
Подойдёт стержень диаметром 25 мм. При шаге раскладки 200 мм, он обеспечивает площадь арматуры 24.5 см2/1м. При шаге 100 мм, площадь будет равна 24.5*2=49 см2.
Данный подход экономит время, но может привести к нецелевому расходу арматуры.
Способ 2 — работа с таблицами результатов
При визуализации мозаики результатов, программа, в нижней части окна, выдаёт номер элемента, в котором подобрано максимальное значение площади арматуры.
Выделив этот элемент при помощи полифильтра, нужно вызвать окно задания таблиц результатов для железобетонных конструкций и создать таблицу Арматура в элементах пластин. Если перед этим был выделен какой-то элемент, то результат будет показан только для него.
В таблице содержится максимальное значение площади арматуры 36.72 см2, что соответствует участку шкалы между s200d28 и s200d32. Выполним тот же самый порядок действий, что и в прошлый раз, но для нового значения площади.
36.72/2=18.36 см2;
Подойдёт стержень диаметром 22 мм. При шаге раскладки 200 мм, он обеспечивает площадь арматуры 19 см2/1м. При шаге 100 мм, площадь будет равна 19*2=38 см2.
Такой подход, в некоторых случаях, позволяет сэкономить арматуру.
Другие способы конструирования сетки
Для большей экономии арматуры возможно применять следующие способы:
- применение большего шага фоновой арматуры с разными градациями шага в зонах усиления 300/150/100;
- применение стержней разных диаметров для основной сетки и арматуры усиления с обязательной проверкой влияния изменения расстояния от центра тяжести арматуры до грани элемента;
Рекомендация: при конструировании сетки плиты перекрытия, стремитесь не к экономии арматурной стали, а к унификации стрежней и минимизации обрези.
Какой шаг арматуры монолитной плите.
Какая арматура. ArmaturaSila.ru
Фоновая арматура в монолитной плите перекрытия.
Фоновая — это арматура, которая укладывается по всей площади плиты параллельно осевой плоскости. Обычно это два слоя: соответственно нижний слой и верхний. Шаг и диаметр определяются, как правило, расчетом: как пример d12 А500 шагом 200 х 200 мм.
Соответственно в тех зонах, где интенсивности фоновой арматуры недостаточно для восприятия усилий,локально устанавливается дополнительная арматура с требуемым шагом и диаметром
Насчет литературы, посмотрите книгу Тихонова (есть в dnl), там есть много примеров армирования реальных конструкций.
__________________
С уважением, Ibragim:drinks:
Последний раз редактировалось ibragimr, 31.05. в 17:34.
Теперь немножко понятно. ) спасибо Вам огромное!Просто по расчету у меня получается в нижней части плиты 5 Вр-1,а по программе 10! — это значит,что пк подбирает арматуру исходя из конструктивных требований или же я неправильно посчитала (хотя моменты в программе и по расчету вручную методом предельного равновесия одинаковы!).
В академии мы постоянно армировали плиты сетками Вр-1 + а400С 5-6 диаметр ,вот меня и насторожил полученный результат.Тем более,что программа еще предлагает 5-6 диаметр арматуры в верхнем пролете плиты. и сразу же вопрос — сейчас армируют монолитное перекрытие с плитами,опертыми по контуру верхней арматурой в пролете или нет?и на что она работает?
Спасибо за книгу,пригодилась)
Работаю в пк мономах 4.5 на студенческом уровне.
вот старая картинка есть.
Последний раз редактировалось galina4444, 31.05. в 18:29.
В монолитных конструкциях есть практика ставить арматуру диаметром не меньше 12. Причина в том, что ф10 и ф8 чаще приходит в бухтах. На стройплощадках оборудование, способное нормально выровнять арматуру, есть только у крупных строительных компаний и то не у всех. У меня было несколько проектов где применялись ф10 и ф8, но было четко оговорено с подрядчиком и заказчиком что арматура будет закупаться прямая.
гммм. тогда почему за 12 арматуру нигде не оговорено? и чем чревато то,что я кладу арматуру меньшим диаметром,определенным расчетом ( т.е. 8-10). Неужели в практике,при подборе арматуры меньше 12го, были какие то проблемы. почему об этом ничего нету в СНиПе.
а что такое бухта? 12 не в бухте приходит что ли?или она не гнется так ,как 8-10
А для надопорных участков нету никаких практик в монолитных конструкциях? Если в нижней части пролета плиты у меня получился 8диаметр,а в надопорной 12 (грубо говоря),то я ссылаясь на эту самую практику должна заармировать пролет плиты 12,а надопорную тоже 12?
Последний раз редактировалось galina4444, 31.05. в 19:19.
Опыт: 1 год 1 месяц
Во вложении выборка из книги Попова: глава про перекрытия, там вы найдете ответы на 80% ваших вопросов (книга есть в Dnl)
http://www.buildinghow.com/Default.aspx?ch=60 — загляните на этот сайт, если, как я, лучше воспринимаете информацию по картинкам
Насчет бухты, я думаю Вам стоит зайти на гугл/яндекс в раздел картинок и написать бухта арматуры и все сразу станет ясно, вот увидите
А насчет того, что вы никогда не станете инженером, не зарекайтесь и не падайте духом: я сколько работаю, столько меня преследует чувство собственной беспомощности и тотальной нехватки знаний, но ничего, потихоньку все приходит
Как армировать монолитное перекрытие
Добрый день! Строим дом сами и столкнулись с размерами и видами арматуры на заливку перекрытия 1/2 этажами. Вопрос таков, дом 10 х 12м, какая необходима арматура, какой диаметр, размер ячейки по связке и какая высота перекрытия должна быть по заливке. Спасибо.
Дом 10х12 м, монолитное перекрытие. Понятно. А есть ли несущая, пятая стена в центре? Или ригель? Может быть, колонны? Сколько, как располагаются? Длина пролёта? Какова будет нагрузка на перекрытие? От перегородок, стяжки (опять-таки, конструкция пола)? Вероятно, крыша будет опираться не на одни лишь стены, должны быть центральные прогоны, балки, опоры передающие нагрузку (немаленькую) на перекрытие. Конструкция крыши, шифер или черепица (10 или 100 кг/м2)? И так далее. «Голой» цифры «10х12» категорически недостаточно для того, чтобы дать вам конкретный ответ. По этой причине наши рекомендации будут довольно общими.
В процессе подготовки к заливке бетона, не забудьте про вентиляционные отверстия и шахты для коммуникаций, для них следует установить короба в опалубку
Пролёт 10х12 м, если, помимо наружных стен, других опор нет, великоват. Конечно, и не такие монолитные конструкции возводят. Но зачастую в современных жилых и офисных зданиях шаг между опорами (несущими стенами, колоннами) не превышает 6 метров. Это позволяет делать рациональные, довольно тонкие перекрытия, 14-20 см толщиной в зависимости от нагрузки. И относительно экономичное армирование: нижний уровень из арматуры периодического сечения Ø12, верхний Ø8, шаг 20х20 см.
Оговоримся: это примерная усреднённая схема, она может быть иной в зависимости от типов опор, наличия ригелей, планируемой нагрузки. Для плиты 10х12 метров без промежуточных опор по весьма и весьма приблизительным прикидкам толщина может составить 20-24 см. Ориентировочное армирование нижнего пояса — сетка из Ø18-22, верхнего Ø10-12, ячейка 20х20 см. Вертикальная арматура не так важна, она лишь фиксирует обе сетки. Достаточно Ø8, шаг 40 см. По стороне 10 м вы сможете положить цельные пруты. На длине 12 м придётся стыковать, перехлёст не менее метра.
Каркас лучше собирать с помощью вязальной проволоки. Арматуру АIII сваривать категорически не рекомендуется, А500с допускается. Кстати, вес перекрытия получится ближе к 50 тоннам, как насчёт несущей способности стен и колонн, если они есть? Есть ли армопояс? Выдержит ли опалубка? Сможете ли залить всю площадь перекрытия сразу, уплотнить бетон?
Принципиальная схема армирования монолитной плиты перекрытия. Обратите внимание на узел опирания, недостаточно просто завести арматуру на стену. Для вашего пролёта сетка должна быть уложена в два слоя
Советуем вам обратиться к профессиональному конструктору-проектировщику, он просчитает вам точную схему армирования, предоставит чертежи всех необходимых узлов. Расходы на проект составят незначительную долю от общей сметы, а по итогам помогут вам оптимизировать расходы. Вы не переплатите за лишний металл и бетон, но будете знать, что не поступитесь надёжностью. Перед тем, как обращаться к специалисту, рекомендуем подготовить полный проект дома. Это не только планы, разрезы и фасады, но и конструкция крыши, узлы полов. Если подробного проекта нет, визит к проектировщику может быть полезен вам вдвойне, делать крышу без проекта не стоит.
Пластиковые дистанциаторы для каркаса, устанавливаемые на поверхность опалубки — очень удобная вещь. Они обеспечат необходимое расстояние от поверхности бетона до арматуры. Стоят недорого
Понравилась статья? поделитесь ей в соц. сетях
Схема армирования монолитной плиты перекрытия
Активно идет развитие мастерства в самостоятельном строительстве. Сейчас весьма распространено в частных застройках армирование монолитной плиты в домашних условиях. Ведь сам процесс армирования не сложен, да и таким способом можно соорудить прочное перекрытие между этажами или помещениями за вполне доступную стоимость. Но для получения отличного результата нужно тщательно изучить последовательность и специфику всей работы.
Монолитная плита перекрытия может быть как потолком, так полом или стеной в доме. Она чаще всего представляет собой монолитную конструкцию, которую для повышения прочности армируют.
Для чего нужно армирование монолитных плит
Современное строительство невозможно уже представить без монолитных плит перекрытия. С ними рабочий процесс становится легче и завершается намного быстрее. Они долговечны, влагостойки, огнеупорны. В результате получаются достаточно теплые перекрытия, способные защитить дом от ветра и холода.
На плиту давит нагрузка сверху вниз и затем распределяется по всей поверхности равномерно. На вверх идет нагрузка на сжатие, ее может без труда перенести обычный бетон. Но на низ идет самая основная нагрузка на растяжение. Бетон с ней может не справиться, поэтому имеется необходимость в дополнительном укреплении. В таком случае армирование укрепит конструкцию и продлит срок ее службы.
Процесс армирования проходит с использованием арматуры обладающей диаметром 8 — 14 мм. Из нее вяжется каркас и устанавливается внутри бетонной плиты. По внешнему виду каркас схож с решеткой. Расстояние между прутьями может быть различной, она напрямую зависит от площади, которую перекрывает плита перекрытия.
Преимущества армирования плит
У армированной монолитной плиты имеются несколько преимуществ, за счет которых большинство строителей оставляют свой выбор за ней, а не, к примеру, за деревянной конструкцией.
- не нужно озадачиваться поисками такой тяжелой техники, как краны;
- можно построить конструкцию различной формы;
- перекрытие получается очень прочным, устойчивым к высоким температурам, к механическим воздействиям и давлениям;
- для армированной плиты служить опорой могут не только стены, но и колонны;
- можно использовать в зданиях с влажностью, доходящей до 60%. Если на внутренних стенах имеется пароизоляция, то до 75%.
- обладает хорошей звукоизоляцией.
Основные правила армирования
Перед работой по армированию нужно познакомиться с некоторыми важными правилами, которые необходимо знать:
- Установка армирования происходит способом съемной опалубки. В нее укладывают арматурный каркас, и заливают все жидким бетоном.
- Для заливки необходимо применять марку бетона М200.
- Для создания каркаса нужно использовать стальную арматуру сечением от 8 до 14 мм.
- Опалубку можно соорудить из обычной фанеры и досок. Но необходимо приобрести телескопические стойки, они выдерживают нагрузку до 2-х тонн, соорудить подобную конструкцию подручными средствами не удастся. Чтоб не покупать, ее можно приобрести в аренду в строительной фирме.
- Толщина плиты перекрытия зависит от ширины перекрываемого пролета. Их соотношение составляет 1 к 30, толщина при этом должна быть от 150 мм. При минимальной толщине сооружается однослойное армирование плиты. Если ширина плиты равна 6 м, то толщина ее должна составлять не менее 200 мм. Если же пролет обладает еще большей шириной, то нужно сделать двухслойный каркас и дополнительно усилить его с помощью ребер жесткости.
- На схеме армирования необходимо делать усиление на центре, местах соединения с опорами, зонах повышенной нагрузки на плиты и местах с отверстиями.
Схема армирования плит перекрытия
Существуют различные схемы армирования. Но у них всех имеется один общий принцип, который имеет следующий вид:
- Арматура в верхней части плиты.
- Арматура в нижней части плиты.
- Армирование, которое перераспределяет нагрузку.
- Подставки для катанки.
Схемы вполне могут и отличаться. Если имеются трудности в самостоятельном расчете нагрузки на плиту и составление схемы, то можно воспользоваться помощью профессионалов.
Этапы процесса работы по армированию плит перекрытия:
Этап 1.
Расчет нагрузки
Изначально нужно произвести статистический расчет нагрузки на будущую конструкцию. Ее можно разделить на:
- действующую. К ней относится вес самой плиты, стен, отделочных материалов, потолка;
- временную. Это может быть мебель, люди, оборудование.
В дальнейшем, исходя из полученных результатов, выбрать толщину плиты и бетона, необходимое армирование и саму схему армирования.
Этап 2. Установка опалубки
Ее устанавливать обязательно нужно на всю длину плиты. Для этого на телескопические стойки необходимо установить продольные балки и поднять их на необходимую высоту. Затем на них смонтировать поперечные бруски и к ним закрепить фанеру. Полученную конструкцию выровнять при помощи уровня или нивелира. По желанию опалубку можно взять в аренду у строительных фирм, которые предоставляют данную услугу.
Этап 3. Сооружение каркаса
Его сооружать необходимо согласно готовой схеме. В основном размер ячеек составляет 150×150 мм или 200×200 мм. Нужно постараться сделать продольные участки каркаса целыми. Если все же не хватает длины, то арматуру нужно укладывать внахлест друг на друга, на минимальное расстояние равное 40 диаметрам. К примеру, если у используемой арматуры диаметр составляет 10 мм, то нахлест рекомендуется делать не менее 400 мм.
Места соединения арматуры должны находиться только в шахматном порядке. Все должно быть прочно закреплено. Арматуру приваривать между собой нельзя, а необходимо связывать только вязальной проволокой. В таком случае конструкция получится подвижной.
Установку дополнительных арматур в местах усиления нужно расположить между слоями каркаса. Дополнительное армирование сооружается при помощи отдельных прутьев, длина которых составляет от 400 до 1500 мм. Готовый каркас должен находиться весь в бетоне, пустое расстояние от опалубки до каркаса должно быть от 20 мм.
Этап 4. Заливка
Заливка бетона должна выполняться однократно, желательно использовать бетононасос. Залитую смесь нужно хорошо уплотнить, для этого необходимо использовать глубинные вибраторы. Затем в последующие несколько дней нужно периодически немного увлажнять плиту разбрызгиванием воды, для исключения появления микротрещин в ней. Изделие будет готова к эксплуатации через месяц, когда бетон полностью высохнет.
Благодаря армированию в завершение можно получить очень прочную и качественную конструкцию, которая с легкостью перенесет различные механические на нее воздействия.
Кручинина Юлия Викторовна
Источники: http://forum.dwg.ru/showthread.php?t=99599, http://strmnt.com/vopros/armirovat-monolitnoe-perekrytie.html, http://plita.guru/raboty/perekrytiya/shema-armirovaniya-plity-perekrytiya.html
Комментарии: 2
Revit. Армирование стен. Хомуты в обрамлении проемов, шпильки с крюками, игнорирование небольших проемов и другие новинки
Дата публикации: .
Сегодня мы выпускаем достаточно крупное (по количеству изменений) обновление плагина Армирование стен и в данной статье расскажем о новинках и изменениях.
Кстати, практически все изменения сделаны по запросам от наших пользователей!
Общее
Рядом с кнопкой Выбрать появилась кнопка Выбрать повторно:
При закрытии окна плагина обрабатываемые стены запоминаются на текущем виде и при следующем запуске плагина вы можете выбрать их снова
Фоновое армирование
Много раз нас просили добавить эту фичу и вот наконец она в плагине – теперь можно включить опцию при которой стержни фонового армирования не будут обрезаться проемами определенных размеров:
К выпускам вертикальных стержней добавлена еще одна опция – прямые выпуски без учета вышележащих элементов:
Возле пересечений теперь можно создавать дополнительные вертикальные стержни по аналогии с торцами стен:
И еще одна немаловажная фича – если в теле стены находится колонна, соединенная со стеной, то горизонтальные стержни фонового армирования не будут разрезаться. Подобная проблема ещё могла встречаться с крестообразными пересечениями и её мы тоже устранили:
Поперечные хомуты (шпильки)
Наконец-то мы это сделали – теперь можно создавать шпильки, используя форму арматурного стержня с крюками Revit!
Также мы добавили увеличение радиуса загиба при обхвате горизонтальных стержней в местах, где устанавливаются П-образные стержни (торцы, пересечения). Правда, мы считаем, что там вообще не надо ставить поперечные хомуты, но все-же нас просили это сделать. И да – это только для поперечных хомутов, у которых крюки в эскизе:
И еще одна дополнительная опция из разряда «не понятно зачем, но просили» — теперь можно создавать каждый поперечный хомут отдельным арматурным стержнем.
Проемы
Больше всего времени ушло на переработку обрамления проемов, так как почти все новые фичи потребовали переработки дизайна окна.
Для начала мы убрали одно из условий фильтрации при анализе проемов: плагин не обрабатывал проемы, созданные семействами, у которых лицевой вектор не со-направлен с лицевым вектором стены. Но как оказалось, плагины MagiCAD используют такие семейства (косяк?). Так что проверку пришлось убрать.
Добавлена возможность создавать вязанные хомуты по всем сторонам проемов и при этом указывать расстояние раскладки – по размеру проема или по длине прямого стержня:
Для прямых стержней теперь можно задать три стержня в ряду:
Значительно улучшены алгоритмы создания обрамлений с учетом соседних проемов:
- при создании прямых стержней учитывается пересечение не только с первым стержнем, но и с каждым стержнем в компоновке
- при создании хомутов и П-образных стержней теперь тоже учитываются соседние проемы
- при наложении стержней друг на друга теперь объединяются и вертикальные стержни. Раньше объединялись только горизонтальные
А еще мы разделили верхнее и нижнее армирование для хомутов и П-образных стержней по аналогии с прямыми стержнями и добавили настройку предпочтительных форм арматурных стержней для всех типов арматуры в обрамлениях проемов:
Вот такое крупное обновление получилось. Естественно, оно включает и более мелкие фиксы, и изменения, не все из которых описаны.
Приятной вам работы с ModPlus!
Армирование монолитной плиты фундамента: укладка, схема, расчет
Содержание статьи
Все чаще в качестве фундамента используются монолитные железобетонные плиты. Они позволяют обеспечить надежную опору для зданий при высоких нагрузках и плохих характеристиках грунта. Также монолитный фундамент сможет решить проблему высокого уровня грунтовых вод.
Зачем необходимо армирование
Бетон — это материал, который хорошо справляется с работой на сжатие, но имеет очень небольшую прочность при изгибе или растяжении. При строительстве дома на бетонной плите, нагрузки по ней распределены неравномерно, что приводит к появлению изгибающего момента.
Это очень опасно для бетонной конструкции, но исключить негативное влияние возможно с помощью установки арматурных сеток или каркасов. Бетон берет на себя сжимающие нагрузки, а арматура воспринимает изгибающие. Это позволяет обеспечить максимальную надежность.
Схема армирования
Пример схемы (чертежа) армирования плитного фундамента.
Армирование железобетонной плиты производится неравномерно: в местах опирания стен или колонн необходимо дополнительное усиление. Такие участки называются зоны продавливания. Укладка арматуры производится в один слой при толщине плиты 150 мм и менее. При величине более 150 мм армирование выполняют каркасами. В качестве примера необходимо рассмотреть основные узлы конструкции.
Основная ширина плиты
Здесь схема представляет собой сетки с постоянным размером ячейки. Шаг прутьев в обоих направлениях должен быть одинаковым. В зависимости от расчетной нагрузки его принимают в пределах 200-400 мм. Для кирпичных домов подойдет шаг арматуры 200 мм, для более легких каркасных можно укладывать стержни реже. При этом важно учитывать, что по СП «Бетонные и железобетонные конструкции» расстояние между стержнями не должно превышать толщину плиты более чем в 1,5 раза.
Схема армирования плиты.
Чаще всего стержни укладывают в два ряда: верхний и нижний. Их совместная работа обеспечивается установкой вертикальных стержней. Шаг таких прутов может быть равен шагу основного армирования или приниматься в два раза больше.
С торцов плита армируется П-образными хомутами.
Согласно СП 63.13330.2012 (п. 10.4.9) на торцах плита должна армироваться П-образными стержнями арматуры, длина этих стержней должна быть равна 2-м толщинам плиты или больше. Стержни связывают верхний и нижний ряды армирования и обеспечивают восприятие крутящих моментов у края плиты и анкеровку концов продольной арматуры.
Внимание! Арматура должна быть утоплена в бетон на 20-30 мм со всех сторон: снизу, сверху, с торцов. Иначе возможна ускоренная коррозия арматуры и разрушение конструкции.
Зоны продавливания
В местах опирания несущих вертикальных конструкций раскладка меняется — уменьшают шаг армирования. Например, если по основной ширине плиты стержни укладывались через 200 мм, то под стенами рекомендуется использовать шаг 100 мм. Это позволит избежать чрезмерного продавливания и появления трещин.
Зона сопряжения с монолитной стеной подвала
Конструкция плиты позволяет изготавливать ее на одном уровне с поверхностью земли, но если в здании планируется обустройство подвала ее глубина заложения будет зависеть от высоты помещения. В этом случае необходимо обеспечить совместную работу основания и стен.
Выпуски арматуры в плите для сопряжения с монолитными стенами.
Чтобы правильно армировать фундамент, необходимо связать вместе каркасы монолитной стены и плиты. При заливке фундамента оставляют выпуски в виде вертикальных стержней, именно они будут связующим звеном. Концы выпусков запускают в тело плиты (загибают на конце на 2 высоты плиты и вяжут к основному каркасу).
Для удобства и точного расчета материалов выполняют чертеж, на котором показана схема армирования, включающая данные о расстоянии между стержнями и их диаметрах.
Выбор арматуры
При изготовлении стальной арматуры руководствуются ГОСТ 5781-82*. Для железобетонной монолитной плиты применяют стержни класса A400 и А500 (или в устаревшем варианте Alll). Чтобы не ошибиться необходимо знать, как отличить пруты разных классов визуально:
- A240 (Al) имеет гладкую поверхность;
- A300 (All) характеризуется периодическим профилем с кольцевым узором;
- A400, А500 (Alll), та которая необходима, имеет периодический профиль, образующий «елочку»(серповидный).
Арматура А500 изготавливается по ГОСТ 52544-06.
Важно! Применение арматуры более низких классов не допускается.
Рекомендуем: Какая арматура нужна для фундамента.
Способы изготовления сеток и каркасов
Сетки изготавливаются по ГОСТ 23279-2012. Вариантов соединения стержней между собой существует всего два: вязание и сварка.
При первом используется тонкая проволока диаметром 2-3 мм, которая вручную или с помощью специальных приспособлений обматывается вокруг прутов. Вариант достаточно трудоемкий, но обеспечивает большую надежность соединений, поскольку позволяет стержням приспосабливаться к небольшим подвижкам конструкции.
Вертикальные хомуты можно изготовить как на фото ниже:
Паук из арматуры диаметром 8-10 мм.
Готовые сварные сетки обеспечат высокую скорость работ. Но количество их типоразмеров ограничено, и не всегда можно подобрать необходимую. Если же принято решение применять сварку прямо на стройплощадке, в особо ответственных местах (углы здания, участки опирания массивных стен) арматуру соединяют проволокой.
Шаблон поможет при вязке арматуры.
Укладка арматуры
Нахлест продольных стержней не менее 40 диаметров рабочей арматуры.
При укладке со всех сторон обеспечивают стержням защитный слой из бетона 20-30 мм. Это необходимо для предотвращения коррозии и разрушения. Чтобы соблюсти необходимое расстояние применяют пластиковые фиксаторы, «лягушки» или «стульчики» из металла.
Специальный пластиковый стакан обеспечивает защитный слой.
Если длины прута не хватает на всю ширину фундамента, соединение двух деталей производят с нахлестом не менее 40 диаметров рабочих стержней. Например, для арматуры 12 мм длина нахлеста будет равняться 40*12 мм = 480 мм.
Расчет диаметра арматуры
Расчеты, связанные с монолитной плитой, достаточно сложны и требуют особых знаний. Далеко не каждый конструктор может их правильно выполнить. Для индивидуального строительства можно руководствоваться минимальными значениями, принимаемыми по пособию «Армирование элементов монолитных железобетонных зданий».
Требования для монолитной плиты представлены в приложении 1, раздел 1. Общая площадь сечения рабочей арматуры в одном направлении принимается не менее 0,3% от общего сечения фундамента. Минимальный диаметр стержней назначается 10 мм при стороне плиты менее 3 м и 12 мм при большей длине стороны. Диаметр вертикальных стержней должен составлять не менее 6 мм, но также необходимо учитывать условия свариваемости. Максимальный размер рабочего армирования 40 мм, на практике чаще используют 12, 14 и 16 мм.
Пример расчета
В качестве исходных данных имеется железобетонная плита 6 на 6 м. Толщина для частного дома принимается 200 мм. Необходимо правильно армировать конструкцию. В примере не рассмотрено усиление железобетона на участках опирания стен.
Определение диаметров
В первую очередь определяется, что сетки будут укладываться в два ряда, поскольку толщина конструкции больше 150 мм. Далее производится расчет требуемой площади стальных прутьев.
- Площадь поперечного сечения фундамента = 6 м * 0,2 м = 1,2 м²;
- Минимальная площадь всей арматуры = 1,2 м² * 0,3% = 0,0036 м² = 36 см²;
- Минимальная площадь арматуры в одном направлении для одного ряда = 36 см²/2 = 18 см².
Далее необходимо воспользоваться сортаментом арматурных стержней, который приведен в ГОСТ 5781-82*. В этом документе приведена площадь сечения одного прута. Для удобства можно найти расширенную версию сортамента. По нему определяется, что для данного сечения в одной сетке необходимо использовать один из следующих вариантов:
- 16 стержней диаметром 12 мм;
- 12 стержней диаметром 14 мм;
- 9 стержней диаметром 16 мм;
- 8 стержней диаметром 18 мм;
- 6 стержней диаметром 20 мм.
Выбираем вариант с двенадцатым диаметром. Чтобы правильно разложить элементы необходима схема. Чертеж поможет рассчитать шаг прутов. Для стороны длинной 6 м шаг 16-ти стержней получается примерно 400 мм. Назначаем максимальное расстояние 300 мм исходя из условия СП 63.13330.2012 п.10.3.8.
Вертикальное армирование для надежности принимается 8 мм с шагом 300 мм.
Расчет количества
Недавно у нас появился калькулятор плитного фундамента, для удобства можете воспользоваться им.
Для того, чтобы не ошибиться при закупке материалов, необходимо заранее рассчитать их количество. Если имеется схема плиты, сделать это не сложно. При вычислении длин стержней необходимо учитывать толщину защитного слоя бетона 20-30 мм с каждой стороны.
Расчет рабочего армирования.
- Длина одного стержня = 6000 — 30*2 = 5940 мм;
- Количество стержней в одном направлении = 5940/300 = 19,8, принимаем 20 шт;
- Количество стержней в обоих направлениях для верхней и нижней сетки = 20*2*2 = 80 шт;
- Длина одного стержня для П-образных хомутов = 200 мм + (200 мм * 2)*2 = 1 м;
- Количество стержней для П-образных хомутов = 20*2 = 40 шт;
- Общая длина арматуры диаметром 12 мм = 80*5,94 м +40*1 м = 515,2 м;
- Масса стержней диаметром 12 мм = 515,2*0,888 кг (находится по сортаменту) = 457,5 кг.
Расчет вертикального армирования.
- Длина одного стержня = 200 — 20*2 = 140 мм;
- Количество стержней = кол-во горизонтальных прутов в одном направлении*кол-во прутов в другом = 20*20 = 400 шт;
- Общая длина стержней диаметром 8 мм = 400*0,14 = 56 м;
- Масса стержней диаметром 8 мм = 56*0,395 = 22,12 кг.
Все получившиеся значения удобно свести в таблицу.
Диаметр | Длина | Масса |
12 мм | 515,2 м | 457,5 кг |
8 мм | 56 м | 22,12 кг |
При расчете расходов стоит учитывать стандартную длину одного прута – 11,7 м, это означает, что, например, стержней 8 диаметра понадобится 5-6 штук с небольшим запасом. А при большой длине рабочей арматуры требуется увеличить суммарную длину на 10-15% для соединения стержней внахлест.
Грамотный выбор диаметра, шага и соблюдение технологии монтажа обеспечат надежность и долговечность фундамента при минимально возможных затратах.
Рекомендуем: Технология строительства плитного фундамента.
Совет! Если вам нужны строители для возведения фундамента, есть очень удобный сервис по подбору спецов от PROFI.RU. Просто заполните детали заказа, мастера сами откликнутся и вы сможете выбрать с кем сотрудничать. У каждого специалиста в системе есть рейтинг, отзывы и примеры работ, что поможет с выбором. Похоже на мини тендер. Размещение заявки БЕСПЛАТНО и ни к чему не обязывает. Работает почти во всех городах России.
Если вы являетесь мастером, то перейдите по этой ссылке, зарегистрируйтесь в системе и сможете принимать заказы.
Хорошая реклама
Читайте также
Методические указания по конструированию армирования
В результате расчета на ПК МОНОМАХ получены мозаики расчетного армирования диафрагмы и плиты перекрытия. Необходимо подобрать шаг, диаметр арматуры и показать ее ракладку на эскизах для выполнения рабочих чертежей конструкций. В результате анализа мозаик армирования выделены характерные зоны армирования и площади арматуры (табл.1.4)
Таблица 1.4
Расчетные площади арматуры по мозаикам армирования
для конструирования диафрагмы и перекрытия (см2/м)
Диафрагма | Горизонтальное армирование | Вертикальное армирование |
Минимальная | Максимальная | |
Asx | Asy,min | Asy,max |
11.3 | 2.8 | 31.4 |
Плита перекрытия | Нижнее (пролетное) армирование | Верхнее (надопорное) армирование | |
Asx | Asy | Asx | Asy |
5.7 | 3.9 | 7.7 | 1.0 |
Примечание: в контрольной работе армирование в характерных зонах задается в качестве исходных данных.
Конструирование арматуры диафрагмы
В диафрагме армирование распределяется не равномерно (см. рис.5, рис.6). В средней зоне арматуры меньше; у торцов происходит концентрация напряжений вследствие сейсмического воздействия и армирование возрастает. Учитывая это, необходимо подобрать арматурную сетку по всей зоне армирования (фоновое армирование), а затем дополнительную арматуру в зоне концентрации.
Программа «РАЗРЕЗ (СТЕНА) рассчитывает суммарную площадь арматуры у двух плоскостей диафрагмы. Для конструирования сетки у одной из граней необходимо делить расчетную площадь арматуры в диафрагме на два.
Вертикальное армирование
Минимальная площадь вертикальной арматуры одной сетки
Asy1, min = As,min/2 = 2.8/2 = 1.4 см2/м;
Максимальная площадь вертикальной арматуры
Asy1, max = As,max/2 = 31.4/2 = 15,7 см2/м;
Среднее значение армирования для назначения арматуры сетки
Asy1,fon = (Asy1,min + Asy1,max)/2 = (1,4 + 15,7)/2 = 8. 6 см2/м.
Примем шаг арматуры 200 мм; количество стержней на погонный метр диафрагмы n = 1000/200 = 5 шт. По сортаменту арматуры (раздел 3) при требуемой площади Asy1,fon = 8.6 см2/м и количестве стержней на метр 5 шт. принимаем диаметр арматуры ø14.
В средине диафрагмы это армирование будет с запасом, но принимаем его с целью унификации. У торца диафрагмы требуется армирование Asy1,max = 15.7 см2/м. Необходимо установить дополнительное армирование площадью
Asy1,add = Asy1,max — Asy1,fon = 15.7 – 8.6 = 7.1 см2/м.
По сортаменту принимаем 2ø22. Арматуру сосредотачиваем ближе к торцу диафрагмы для более эффективной работы. Устанавливаем с шагом 200 мм между стержнями фоновой сетки. Размещение арматуры показано на рис.10.
Горизонтальная арматура
Расчетное горизонтальное армирование распределяется неравномерно по ширине и высоте диафрагмы. С целью унификации горизонтальную арматуру устанавливаем равномерно в пределах этажа. Расчетная площадь арматуры по табл.1
Asx1 = 11.3/2 = 5.7 см2/м;
Принимаем по сортаменту 5ø12 на погонный метр. Шаг стержней составит 100/5 = 200 мм. Размещение арматуры показано на рис. 10.
Проверка выполнения конструктивных требований норм
В соответствии с конструктивными требованиями п.3.7.7 норм /4/ минимальный диаметр вертикальной арматуры 10 мм, горизонтальной – 6 мм. Максимальный шаг вертикальной арматуры – 900 мм, горизонтальной – 600 мм.
Минимальный процент армирования по каждому направлению mmin = 0.025%. Минимальная площадь армирования по каждому направлению
As,min = mmin(a x b) = (0.025/100)х(20х100) = 0.25 см2/м,
здесь а – толщина диафрагмы, b – расчетная длина 100 см.
По минимальному диаметру, максимальному шагу и минимальной площади принятое армирование удовлетворяет конструктивным требованиям.
Конструирование арматуры перекрытия
В заданной зоне перекрытия необходимо разработать арматурную сетку ( раскладку арматуры) в нижней зоне плиты и надопорную арматурную сетку. Эскиз армирования показан на рис.11. По конструктивным требованиям шаг арматуры должен быть не более толщины плиты, процент армирования в каждом направлении не менее 0.025.
Нижняя арматура по оси Х
Принимаем шаг 200 мм. Количество стержней на погонный метр n = 5; при расчетной площади Asx = 5.7 см2/м диаметр арматуры по сортаменту ø12А400.
Нижняя арматура по оси Y
По аналогии с предыдущим пунктом: шаг 200; n = 5; Asy = 3.9 см2/м; по сортаменту ø10А400
Верхняя арматура по оси Х: s = 200; n = 5; Asx = 7.7 см2/м; по сортаменту ø14А400.
Верхняя арматура по оси Y: s = 200; n = 5; Asy = 1.0 см2/м; по сортаменту ø6А400.
Эскизы армирования показаны на рис.11.
Рис.1. План расчетной модели здания.
Рис.2. Трехмерное изображение этажа расчетной модели
Рис.3. Трехмерное изображение расчетной модели здания
Рис. 4. Результаты предварительного расчета модели (нагрузки на конструкции)
Рис.5. Мозаика площадей вертикального армирования диафрагмы.
Рис.6. Увеличенный фрагмент мозаики расчетной площади вертикальной арматуры и выбор характерных площади армирования.
Рис.7. Увеличенный фрагмент мозаики расчетной площади горизонтальной арматуры и выбор характерной площади армирования.
Рис.8. Мозаика расчетной площади нижней арматуры плиты (пролетная арматура) и характерная площадь арматуры.
Рис.9. Мозаика расчетной площади верхней арматуры плиты (надопорная арматура) и характерная площадь арматуры.
Рис.10. Эскизы армирования диафрагмы
Рис.11. Эскизы армирования питы перекрытия
Сортамент арматуры
Варианты заданий
Вариант принимать по сумме двух последних цифр номера зачетной книжки
Что такое подкрепление в оперантном кондиционировании?
Один из множества различных способов, которыми люди могут учиться, — это процесс, известный как оперантное обусловливание (также известный как инструментальное обусловливание). Он включает обучение через подкрепление или наказание. Тип используемого подкрепления может сыграть важную роль в том, как быстро будет усвоено поведение, и в общей силе результирующей реакции.
Общие сведения об армировании
Подкрепление — это термин, используемый в оперантном обусловливании для обозначения всего, что увеличивает вероятность возникновения реакции.Психолог Б.Ф. Скиннер считается отцом этой теории. Обратите внимание, что подкрепление определяется влиянием, которое оно оказывает на поведение — оно увеличивает или усиливает реакцию.
Например, поощрение может включать в себя похвалу (поощрение) сразу после того, как ребенок убирает свои игрушки (ответ). Подкрепляя желаемое поведение похвалой, ребенок с большей вероятностью будет выполнять те же действия снова в будущем.
Подкрепление может включать все, что усиливает или усиливает поведение, включая конкретные материальные награды, события и ситуации.В классе, например, типы поощрения могут включать похвалу, отказ от нежелательной работы, символические награды, конфеты, дополнительное время для игр и веселые занятия.
Первичное и вторичное армирование
Вот некоторые сведения о двух основных типах армирования.
Первичное армирование
Первичное армирование иногда называют безусловным армированием. Это происходит естественно и не требует обучения, чтобы работать.Первичные подкрепления часто имеют эволюционную основу, поскольку они помогают выживанию вида.
Примеры первичных усилителей включают:
Генетика и опыт также могут сыграть роль в том, как работает такое усиление. Например, в то время как один человек может найти определенный вид еды очень полезным, другому может совсем не понравиться эта еда.
Вторичное армирование
Вторичное подкрепление, также известное как условное подкрепление, включает стимулы, которые стали вознаграждением за счет сочетания с другим подкрепляющим стимулом.Например, при дрессировке собаки похвала и угощения могут использоваться в качестве основных подкреплений. Звук кликера может ассоциироваться с похвалой и угощением, пока звук самого кликера не начнет работать как вторичное подкрепление.
Виды армирования
В оперантном обусловливании есть два различных типа подкрепления. Обе эти формы подкрепления влияют на поведение, но делают это по-разному. Эти два типа включают:
- Положительное подкрепление : Это включает в себя добавление чего-то для усиления реакции, например, дать ребенку немного конфет после того, как она уберет свою комнату.
- Отрицательное подкрепление : Здесь описывается удаление чего-либо для увеличения реакции, например, отмена викторины, если учащиеся сдают все свои домашние задания за неделю. Убирая неприятный стимул (тест), учитель надеется усилить желаемое поведение (выполнив все домашние задания).
Хотя эти термины включают слова «положительный» и «отрицательный», важно отметить, что Скиннер не использовал их для обозначения «хорошо» или «плохо». Вместо этого подумайте, что означают эти термины при математическом использовании.
Позитив — это знак плюса, означающий, что что-то добавляется к ситуации или применяется к ней. Отрицательный — эквивалент знака минус, означающего, что что-то удаляется или вычитается из ситуации.
Примеры из реальной жизни
Вот несколько реальных примеров того, как можно использовать подкрепление для изменения поведения.
Положительное армирование
Во время тренировки вашей офисной команды по софтболу тренер кричит: «Отличная работа!» после того, как вы бросите подачу.Из-за этого у вас больше шансов снова подать мяч таким же образом. Это пример положительного подкрепления.
Другой пример: на работе вы превышаете квоту продаж вашего менеджера за месяц и поэтому получаете бонус как часть своей зарплаты. Это увеличивает вероятность того, что вы снова попытаетесь превысить минимальную квоту продаж в следующем месяце.
Отрицательное армирование
Вы идете к врачу, чтобы сделать ежегодную прививку от гриппа, чтобы не заболеть гриппом.В этом случае вы ведете себя так (делаете прививку), чтобы избежать неприятного стимула (заболеть). Это пример отрицательного подкрепления.
Другой пример: нанесите немного геля алоэ вера на солнечный ожог, чтобы ожог не повредил. Нанесение геля на ожог предотвращает неблагоприятный исход (боль), поэтому это пример отрицательного подкрепления. Поскольку такое поведение сводит к минимуму неблагоприятный исход, вы с большей вероятностью снова воспользуетесь гелем алоэ вера в будущем.
Отрицательное подкрепление также можно увидеть, если вы приняли парацетамол, чтобы избавиться от ужасной головной боли. Примерно через 15-20 минут боль в голове наконец утихает. Поскольку прием таблеток позволил вам устранить неприятную ситуацию, это повышает вероятность того, что вы снова будете принимать обезболивающие в будущем, чтобы справиться с физической болью.
Сила отклика
То, как и когда доставляется подкрепление, может повлиять на общую силу реакции.Эта сила измеряется следующими характеристиками реакции после остановки армирования:
- Точность
- Продолжительность
- Частота
- Стойкость
Непрерывное армирование
В ситуациях, когда настоящее подкрепление находится под контролем, например, во время обучения, можно изменить время предъявления подкрепления. На ранних этапах обучения часто используется постоянное подкрепление, например, когда вы впервые обучаете собаку новому трюку.Этот график предполагает усиление реакции каждый раз, когда она возникает.
Частичное армирование
После того, как поведение приобретено, часто бывает полезно переключиться на график частичного подкрепления. Четыре основных типа частичного армирования включают:
Слово от Verywell
Подкрепление играет жизненно важную роль в оперантном процессе обусловливания. При правильном использовании подкрепление может стать эффективным инструментом обучения, чтобы поощрять желаемое поведение и препятствовать нежелательному.
Важно помнить, что то, что представляет собой подкрепление, может варьироваться от одного человека к другому. Например, в классе один ребенок может найти поощрение за угощение, в то время как другой может быть безразличен к такой награде. В некоторых случаях то, что укрепляет, может даже стать неожиданностью.
Если ребенок получает внимание от родителей только тогда, когда его ругают, это внимание может фактически усилить проступок. Узнав больше о том, как работает подкрепление, вы сможете лучше понять, как различные типы подкрепления способствуют обучению и поведению.
Reinforcement — Scholarpedia
Действия после публикации
Куратор: Рой Уайз
Подкрепление — термин, используемый теоретиками обучения для описания основного процесса ассоциативного обучения.
История
Термин подкрепление был введен Павловым в 1903 году для описания усиления связи между безусловным и условным стимулом, возникающего при их совместном представлении.Если ассоциация периодически не «подкрепляется» таким спариванием, эффективность условного раздражителя падает: условный ответ подвергается угасанию . Для Павлова любой безусловный раздражитель, такой как еда или дуновение воздуха в глаза, был потенциальным подкреплением; соединение такого стимула с нейтральным стимулом составляло подкрепление. Этот термин для Павлова обозначал усиление (и установление) связи между условным раздражителем и его безусловным родительским раздражителем (Павлов, 1928).
Термин «подкрепление» в настоящее время используется больше по отношению к обучению реагированию, чем к обучению по стимулам. Торндайк первым ввел концепцию подкрепления реакции, предположив, что ответы, «за которыми следует удовлетворение», будут «более прочно связаны с ситуацией, так что, когда она повторится, они с большей вероятностью будут повторяться». В этом заключается суть закона Торндайка (Thorndike, 1911) «Закон эффекта », более формальной формулировки «вдавливания» связей между стимулами и ответами, которые он ввел десятилетием ранее (Thorndike, 1898).Хотя Торндайк обсуждал сущностное понятие подкрепления, только в 1933 году Торндайк (Thorndike, 1933) и Скиннер (Skinner, 1933) приняли термин Павлова «подкрепление» для обозначения усиления ассоциаций «стимул-реакция».
В то время как Скиннер первоначально думал об инструментальном поведении и использовал термин «подкрепление» в рамках павловской обусловленности, он вскоре (Скиннер, 1937) пришел к выводу, что стимульное (павловское) и ответное («оперантное» или «инструментальное») обучение включают принципы и требуя различных рамок.Он пришел к отрицанию того, что то, что мы думаем о «целенаправленном» поведении, изначально вызывается внешним стимулом, и вместо этого утверждал, что первоначальные действия, которые впоследствии формируются в инструментальное поведение, испускаются организмом случайным образом, подобно тому, как случайным образом испускаются частицы. радиоактивной молекулой. Он переименовал то, что раньше называлось «ответом», назвав его «оперантом» — но теперь этот термин включал контролирующий стимул в так называемую трехчленную непредвиденную ситуацию : подкрепление усиливает реакцию в присутствии контролирующей или «различительный» стимул.Его новая формулировка была «Если за появлением операнта следует предъявление подкрепляющего стимула, сила увеличивается» (Скиннер, 1938), стр. 21. Одна проблема с формулировкой Скиннера заключается в том, что он не уточняет в своем формальном утверждении. , что именно усилено. В другом месте он указывает, что «оперант» усиливается. Под этим он подразумевает, что частота его увеличилась.
- Для Павлова была усилена ассоциация между двумя стимулами (S-S-обучение).
- Для Торндайка была усилена ассоциация между стимулом и реакцией (обучение S-R).
- Для Скиннера нет отношений, которые нужно укреплять; нет стимула участвовать в ассоциации. Есть только оперант, связанный только вероятностно, а не причинно, с любым предшествующим событием, с которым он мог бы быть связан.
Однако через несколько страниц определения интересующего поведения как «операнта» Скиннер возвращается к общепринятому термину «ответ»:
- «В первой главе указывалось, что существует два типа условных рефлексов, определяемых в зависимости от того, коррелирует ли подкрепляющий раздражитель с реакцией» (Скиннер, 1938), стр. 62.
На протяжении его третьей и последующих глав на ординатах его графиков появляются «ответы» или «ответы в час». Просто прямо заявив, что оперант является поведенческой эмиссией, а не реакцией на вызывающий стимул, Скиннер продолжает предположить, что животное узнает взаимосвязь между его поведением и его последствиями, форма обучения, обозначенная как «реакция-результат» ( RO) обучение более молодыми работниками. Таким образом, в рамках теории Скиннера именно связь между ответом и его результатом усваивается и «подкрепляется».”
Механизмы
Первая великая теория подкрепления заключалась в том, что оно запечатлевается в памяти, уменьшая физиологические потребности или дисбаланс (Hull, 1943). Идея была привлекательной, потому что говорила об очевидном факте, что обучение было механизмом, с помощью которого высшие животные могли удовлетворять свои потребности, несмотря на изменения окружающей среды, которые бросали вызов механизму инстинктов. Однако он был близоруким, поскольку имел дело только с обучением по реакции, а не со стимулированным обучением, для которого этот термин был впервые применен.Даже в случае обучения реагированию вскоре стало ясно, что уменьшение потребности не является необходимым условием подкрепления. Наиболее показательной была демонстрация того, что крысы научатся работать с подсластителями, не имеющими пищевой ценности (Sheffield and Roby, 1950), или с прямой электрической стимуляцией определенных мозговых путей (Olds and Milner, 1954). Жаждущие крысы навязчиво слизывают воздушный поток, который испаряет слюну и еще больше обезвоживает животное (Freed and Mendelson, 1974). Действительно, поведение животных изобилует примерами подкрепления, которое не снижает очевидной физиологической потребности (Harlow, 1953).
Теории подкрепления, которые постулируют физиологические механизмы, делятся на две категории: одна, которая пытается охарактеризовать анатомический субстрат (Glickman and Schiff, 1967; Gallistel et al., 1981; Wise, 2002: см. Раздел «Дифференциация от вознаграждения» ниже), и вторая, которая пытается охарактеризовать анатомический субстрат. для характеристики критических нейрофизиологических или нейрохимических событий. Внимание к критическим событиям сосредоточено вокруг понятия консолидации памяти; штампование или усиление памяти и консолидация памяти концептуально неразличимы (Landauer, 1969).
Доказательства того, что подкрепления усиливают консолидацию памяти, получены в исследованиях, в которых подкрепление вводится после несвязанного тренировочного эпизода. Прототипная демонстрация включала задачу уклонения от понижения; животные, которым был предоставлен доступ к пище после тренировочных испытаний, показали более сильное сохранение тренировки избегания, чем животные, которым не давали немедленную пищу (Huston et al., 1974). По аналогии,
- Пост-испытательный удар ногой может усилить консолидацию памяти (White and Legree, 1984).
- Пост-испытательный прием сахарозы также очень эффективен;
- содержание сахарина после испытаний меньше, несмотря на сравнение изогедонических концентраций (Messier and White, 1984).
Клеточная основа консолидации памяти — область активных исследований и гипотез. Ряд доказательств подтверждает, что дофамин важен для инструментального обучения с едой, стимуляции мозга и подкрепления лекарствами (Wise, 2004). Более того, высвобождение дофамина после испытаний может улучшить консолидацию памяти (White, 1996).Наконец, дофамин, по-видимому, играет важную роль в долгосрочной потенциации и долгосрочной депрессии у млекопитающих, моделях обучения и памяти на клеточном уровне (Wise, 2004), точно так же, как серотонин играет такую роль в аплизии (Kandel, 2001). . Однако дофамин не играет абсолютно важной роли. В то время как крысы, получавшие антагонисты дофамина, ведут себя так, как будто еда, стимуляция мозга и вызывающие привыкание психомоторные стимуляторы больше не усиливают, нокаутированные мыши, которым не хватает дофамина с рождения, могут научиться вкусовым предпочтениям (Cannon and Palmiter, 2003), и, если им дают кофеин, пища вознаграждается. Привычки реагирования на Т-образный лабиринт (Robinson et al., 2005). Таким образом, другие системы способны брать на себя эти функции у мышей, рожденных с дефицитом дофамина.
Отличие от «награды»
Различить понятия подкрепления и вознаграждения сложно из-за допущений здравого смысла, часто связанных с последним. Многие ученые используют термин «подкрепление» и избегают термина «вознаграждение» на основании точности и объективности, в то время как другие ученые, также во имя точности, предпочитают термин «вознаграждение» (Wise, 1989).
Наиболее широко распространенное различие состоит в том, что награды — это положительных подкреплений , объекты или события, к которым приближаются, а не отнимаются, тогда как подкрепления не обязательно. Связанный с этим подтекст состоит в том, что вознаграждения часто воспринимаются как психологически гедонистические, в то время как подкрепления не обязательно. Термин «вознаграждение» с этой точки зрения является синонимом фразы «положительное подкрепление» (White, 1989). Класс подкреплений включает отрицательных подкреплений , фраза со своими собственными ошибками в определениях.Отрицательное подкрепление — это подкрепление, которое возникает в результате прекращения продолжающегося — обычно отталкивающего — состояния. В таком случае, называем ли мы отвращение отрицательным подкреплением или наказанием? В популярном употреблении нет единого мнения по этому вопросу, но в специальной литературе предъявление болезненного стимула обозначается наказанием, а не отрицательным подкреплением.
Одна группа специалистов, которая часто использует термин «вознаграждение», а не термин «подкрепление», включает тех, кто изучает животных, обученных нажимать на рычаг для прямой электрической стимуляции мозга.В этом случае стимуляция имеет зависящий от памяти усиливающий эффект, но также не зависящий от памяти мгновенный «затравочный» эффект. Эффект прайминга заряжает животное энергией и ненадолго увеличивает вероятность того, что вызванный им ответ будет повторяться. Этот эффект не сохраняется в памяти. Эффективность прайминга снижается в течение нескольких десятков секунд, тогда как усиливающие (после испытания) эффекты стимуляции запоминаются на несколько дней (Gallistel et al., 1974). Усиливающий эффект пост-пробного подкрепления находит свое отражение в долговременной памяти, тогда как прайминговый эффект досудебного предъявления той же стимуляции нет.Поскольку животное обычно отвечает на стимуляцию 50–100 раз в минуту, в этих исследованиях стимулирующий эффект каждой стимуляции весьма значителен. По этой причине стимуляцию часто называют «вознаграждением за стимуляцию мозга» — фразой, которая не различает стимулирующие и подкрепляющие действия, которые вместе определяют скорость реакции животного (Wise, 1989). Тот факт, что физиологические психологи предпочитают термин вознаграждение, в то время как поведенческие фармакологи предпочитают термин подкрепление (несмотря на тот факт, что препараты, принимаемые самостоятельно, например, стимуляция мозга самостоятельно, имеют как прижигание, так и подкрепление: Пикенс и Харрис, 1968) добавляет к неуверенности неспециалистов в том, какой термин следует предпочесть.
Субъективные корреляты
Хотя положительные подкрепления часто ассоциируются с осознанным удовольствием, неясно, действительно ли они таковы. Также неясно, должны ли отрицательные подкрепления ассоциироваться с сознательной болью или дистрессом. Неясно, есть ли у подкрепления необходимые субъективные корреляты. Действительно, субъективные оценки двух наборов подкрепляющих стимулов не обязательно предсказывают, какой набор субъект будет нажимать на рычаг, чтобы просмотреть (Aharon et al., 2001).Люди сообщают, что субъективное удовольствие от инъекций героина или кокаина резко уменьшается при повторном употреблении наркотиков, но инъекции по-прежнему оказывают сильное влияние на их поведение, связанное с поиском наркотиков. Возможно, что не существует сознательной корреляции фундаментального процесса подкрепления, и что удовольствие (или боль) сообщается просто как наилучшее предположение субъекта о том, что повлияло на его поведение. Например, исследования на людях субъективных коррелятов мотивации и подкрепления и попытки смоделировать субъективные состояния у животных привели к выводу, что желание стимула и симпатия к стимулу не обязательно являются сознательными переживаниями (Berridge and Winkielman, 2003).
Список литературы
Aharon I, Etcoff N, Ariely D, Chabris CF, O’Connor E, Breiter HC (2001) Красивые лица имеют переменную ценность вознаграждения: фМРТ и поведенческие доказательства. Нейрон 32: 537-551.
Берридж К.С., Винкельман П. (2003) Что такое бессознательная эмоция? (Случай неосознанной «симпатии»). Познание и эмоции 17: 181-211.
Берридж К.С., Робинсон Т.Э. (2003) Награда за парсинг. Trends Neurosci. 26 (9): 507-13. Рассмотрение. Ошибка в: Trends Neurosci. 26 (11): 581.
Cannon CM, Palmiter RD (2003) Награда без дофамина.Журнал неврологии 23: 10827-10831.
Freed WJ, Mendelson J (1974) Airlicking: Жаждущие крысы предпочитают теплый сухой воздушный поток теплому влажному воздушному потоку. Физиология и поведение 12: 557-561.
Gallistel CR, Stellar JR, Bubis E (1974) Параметрический анализ вознаграждения за стимуляцию мозга у крысы: I. Переходный процесс и процесс, содержащий память. Журнал сравнительной и физиологической психологии 87: 848-859.
Gallistel CR, Shizgal P, Yeomans J (1981) Портрет субстрата для самостимуляции.Психологический обзор 88: 228-273.
Glickman SE, Schiff BB (1967) Биологическая теория подкрепления. Психологический обзор 74: 81-109.
Harlow HF (1953) Мыши, обезьяны, люди и мотивы. Психологический обзор 60: 23-32.
Hull CL (1943) Принципы поведения. Нью-Йорк: Appleton-Century-Crofts.
Huston JP, Mondadori C, Waser PG (1974) Содействие обучению вознаграждением за процессы памяти после испытаний. Experietia 30: 1038-1040.
Kandel ER (2001) Молекулярная биология хранения в памяти: диалог между генами и синапсами.Наука 294: 1030-1038.
Ландауэр Т.К. (1969) Армирование как уплотнение. Психологический обзор 76: 82-96.
Мессье С., Уайт Н.М. (1984) Случайные и непредвиденные действия сахарозы и усилителей сахарина: влияние на вкусовые предпочтения и память. Физиология и поведение 32: 195-203.
Olds J, Milner PM (1954) Положительное подкрепление, производимое электрической стимуляцией области перегородки и других областей мозга крысы. Журнал сравнительной и физиологической психологии 47: 419-427.
Павлов И.П. (1928) Лекции об условных рефлексах. Нью-Йорк: Международные издательства.
Пикенс Р., Харрис В.К. (1968) Самостоятельное введение d-амфетамина крысами. Психофармакология 12: 158-163.
Робинсон С., Сандстром С.М., Дененберг В.Х., Палмитер Р.Д. (2005) Определение того, регулирует ли дофамин пристрастие, желание и / или узнавание о наградах. Поведенческая неврология 119: 5-15.
Sheffield FD, Roby TB (1950) Наградная ценность непитательного сладкого вкуса.Журнал сравнительной и физиологической психологии 43: 471-481.
Скиннер Б.Ф. (1933) Скорость установления дискриминации. Журнал общей психологии 9: 302-350.
Скиннер Б.Ф. (1937) Два типа условных рефлексов: ответ Конорскому и Миллеру. Журнал общей психологии 16: 272-279.
Скиннер Б.Ф. (1938) Поведение организмов. Нью-Йорк: Appleton-Century-Crofts.
Торндайк Е.Л. (1898) Животный интеллект: экспериментальное исследование ассоциативных процессов у животных.Психологические монографии 8: 1-109.
Торндайк Е.Л. (1911) Животный интеллект. Нью-Йорк: Макмиллан.
Торндайк Э.Л. (1933) Теория воздействия на нее последствий связи. Психологический обзор 40: 434-439.
White NM (1989) Награда или поощрение: в чем разница? Neurosci Biobehav Rev 13: 181-186.
Уайт Н.М. (1996) Наркотики как подкрепление: множественные частичные действия на системы памяти. Наркомания 91: 921-949.
Уайт Н.М., Легри П. (1984) Влияние посттренировочного воздействия отталкивающего стимула на удержание.Физиологическая психология 12: 233-236.
Мудрый Р.А. (1989) Мозг и награда. В: Нейрофармакологическая основа вознаграждения (Либман Дж. М., Купер С. Дж., Ред.), Стр. 377-424. Оксфорд: Издательство Оксфордского университета.
Мудрый Р.А. (2002) Схема вознаграждения за мозг: понимание бессмысленных стимулов. Нейрон 36: 229-240.
Мудрый Р.А. (2004) Дофамин, обучение и мотивация. Nature Reviews Neuroscience 5: 483-494.
Внутренние ссылки
- Говард Эйхенбаум (2008) Память.Scholarpedia, 3 (3): 1747.
- Вольфрам Шульц (2007) Награда. Scholarpedia, 2 (3): 1652.
Внешние ссылки
См. Также
Классическое обусловливание, оперантное обусловливание, обучение с подкреплением, вознаграждение, сигналы вознаграждения
Reinforcement — Scholarpedia
Действия после публикации
Куратор: Рой Уайз
Подкрепление — термин, используемый теоретиками обучения для описания основного процесса ассоциативного обучения.
История
Термин подкрепление был введен Павловым в 1903 году для описания усиления связи между безусловным и условным стимулом, возникающего при их совместном представлении. Если ассоциация периодически не «подкрепляется» таким спариванием, эффективность условного раздражителя падает: условный ответ подвергается угасанию . Для Павлова любой безусловный раздражитель, такой как еда или дуновение воздуха в глаза, был потенциальным подкреплением; соединение такого стимула с нейтральным стимулом составляло подкрепление.Этот термин для Павлова обозначал усиление (и установление) связи между условным раздражителем и его безусловным родительским раздражителем (Павлов, 1928).
Термин «подкрепление» в настоящее время используется больше по отношению к обучению реагированию, чем к обучению по стимулам. Торндайк первым ввел концепцию подкрепления реакции, предположив, что ответы, «за которыми следует удовлетворение», будут «более прочно связаны с ситуацией, так что, когда она повторится, они будут более вероятно повторяться.В этом заключается суть Закона Торндайка (Thorndike, 1911) «Закон эффекта », более формальной формулировки «вдавливания» связей между стимулами и ответами, которые он ввел десятью годами ранее (Thorndike, 1898). Хотя Торндайк обсуждал сущностное понятие подкрепления, только в 1933 году Торндайк (Thorndike, 1933) и Скиннер (Skinner, 1933) приняли термин Павлова «подкрепление» для обозначения усиления ассоциаций «стимул-реакция».
В то время как Скиннер первоначально думал об инструментальном поведении и использовал термин «подкрепление» в рамках павловской обусловленности, он вскоре (Скиннер, 1937) пришел к выводу, что стимульное (павловское) и ответное («оперантное» или «инструментальное») обучение включают принципы и требуя различных рамок.Он пришел к отрицанию того, что то, что мы думаем о «целенаправленном» поведении, изначально вызывается внешним стимулом, и вместо этого утверждал, что первоначальные действия, которые впоследствии формируются в инструментальное поведение, испускаются организмом случайным образом, подобно тому, как случайным образом испускаются частицы. радиоактивной молекулой. Он переименовал то, что раньше называлось «ответом», назвав его «оперантом» — но теперь этот термин включал контролирующий стимул в так называемую трехчленную непредвиденную ситуацию : подкрепление усиливает реакцию в присутствии контролирующей или «различительный» стимул.Его новая формулировка была «Если за появлением операнта следует предъявление подкрепляющего стимула, сила увеличивается» (Скиннер, 1938), стр. 21. Одна проблема с формулировкой Скиннера заключается в том, что он не уточняет в своем формальном утверждении. , что именно усилено. В другом месте он указывает, что «оперант» усиливается. Под этим он подразумевает, что частота его увеличилась.
- Для Павлова была усилена ассоциация между двумя стимулами (S-S-обучение).
- Для Торндайка была усилена ассоциация между стимулом и реакцией (обучение S-R).
- Для Скиннера нет отношений, которые нужно укреплять; нет стимула участвовать в ассоциации. Есть только оперант, связанный только вероятностно, а не причинно, с любым предшествующим событием, с которым он мог бы быть связан.
Однако через несколько страниц определения интересующего поведения как «операнта» Скиннер возвращается к общепринятому термину «ответ»:
- «В первой главе указывалось, что существует два типа условных рефлексов, определяемых в зависимости от того, коррелирует ли подкрепляющий раздражитель с реакцией» (Скиннер, 1938), стр. 62.
На протяжении его третьей и последующих глав на ординатах его графиков появляются «ответы» или «ответы в час». Просто прямо заявив, что оперант является поведенческой эмиссией, а не реакцией на вызывающий стимул, Скиннер продолжает предположить, что животное узнает взаимосвязь между его поведением и его последствиями, форма обучения, обозначенная как «реакция-результат» ( RO) обучение более молодыми работниками. Таким образом, в рамках теории Скиннера именно связь между ответом и его результатом усваивается и «подкрепляется».”
Механизмы
Первая великая теория подкрепления заключалась в том, что оно запечатлевается в памяти, уменьшая физиологические потребности или дисбаланс (Hull, 1943). Идея была привлекательной, потому что говорила об очевидном факте, что обучение было механизмом, с помощью которого высшие животные могли удовлетворять свои потребности, несмотря на изменения окружающей среды, которые бросали вызов механизму инстинктов. Однако он был близоруким, поскольку имел дело только с обучением по реакции, а не со стимулированным обучением, для которого этот термин был впервые применен.Даже в случае обучения реагированию вскоре стало ясно, что уменьшение потребности не является необходимым условием подкрепления. Наиболее показательной была демонстрация того, что крысы научатся работать с подсластителями, не имеющими пищевой ценности (Sheffield and Roby, 1950), или с прямой электрической стимуляцией определенных мозговых путей (Olds and Milner, 1954). Жаждущие крысы навязчиво слизывают воздушный поток, который испаряет слюну и еще больше обезвоживает животное (Freed and Mendelson, 1974). Действительно, поведение животных изобилует примерами подкрепления, которое не снижает очевидной физиологической потребности (Harlow, 1953).
Теории подкрепления, которые постулируют физиологические механизмы, делятся на две категории: одна, которая пытается охарактеризовать анатомический субстрат (Glickman and Schiff, 1967; Gallistel et al., 1981; Wise, 2002: см. Раздел «Дифференциация от вознаграждения» ниже), и вторая, которая пытается охарактеризовать анатомический субстрат. для характеристики критических нейрофизиологических или нейрохимических событий. Внимание к критическим событиям сосредоточено вокруг понятия консолидации памяти; штампование или усиление памяти и консолидация памяти концептуально неразличимы (Landauer, 1969).
Доказательства того, что подкрепления усиливают консолидацию памяти, получены в исследованиях, в которых подкрепление вводится после несвязанного тренировочного эпизода. Прототипная демонстрация включала задачу уклонения от понижения; животные, которым был предоставлен доступ к пище после тренировочных испытаний, показали более сильное сохранение тренировки избегания, чем животные, которым не давали немедленную пищу (Huston et al., 1974). По аналогии,
- Пост-испытательный удар ногой может усилить консолидацию памяти (White and Legree, 1984).
- Пост-испытательный прием сахарозы также очень эффективен;
- содержание сахарина после испытаний меньше, несмотря на сравнение изогедонических концентраций (Messier and White, 1984).
Клеточная основа консолидации памяти — область активных исследований и гипотез. Ряд доказательств подтверждает, что дофамин важен для инструментального обучения с едой, стимуляции мозга и подкрепления лекарствами (Wise, 2004). Более того, высвобождение дофамина после испытаний может улучшить консолидацию памяти (White, 1996).Наконец, дофамин, по-видимому, играет важную роль в долгосрочной потенциации и долгосрочной депрессии у млекопитающих, моделях обучения и памяти на клеточном уровне (Wise, 2004), точно так же, как серотонин играет такую роль в аплизии (Kandel, 2001). . Однако дофамин не играет абсолютно важной роли. В то время как крысы, получавшие антагонисты дофамина, ведут себя так, как будто еда, стимуляция мозга и вызывающие привыкание психомоторные стимуляторы больше не усиливают, нокаутированные мыши, которым не хватает дофамина с рождения, могут научиться вкусовым предпочтениям (Cannon and Palmiter, 2003), и, если им дают кофеин, пища вознаграждается. Привычки реагирования на Т-образный лабиринт (Robinson et al., 2005). Таким образом, другие системы способны брать на себя эти функции у мышей, рожденных с дефицитом дофамина.
Отличие от «награды»
Различить понятия подкрепления и вознаграждения сложно из-за допущений здравого смысла, часто связанных с последним. Многие ученые используют термин «подкрепление» и избегают термина «вознаграждение» на основании точности и объективности, в то время как другие ученые, также во имя точности, предпочитают термин «вознаграждение» (Wise, 1989).
Наиболее широко распространенное различие состоит в том, что награды — это положительных подкреплений , объекты или события, к которым приближаются, а не отнимаются, тогда как подкрепления не обязательно. Связанный с этим подтекст состоит в том, что вознаграждения часто воспринимаются как психологически гедонистические, в то время как подкрепления не обязательно. Термин «вознаграждение» с этой точки зрения является синонимом фразы «положительное подкрепление» (White, 1989). Класс подкреплений включает отрицательных подкреплений , фраза со своими собственными ошибками в определениях.Отрицательное подкрепление — это подкрепление, которое возникает в результате прекращения продолжающегося — обычно отталкивающего — состояния. В таком случае, называем ли мы отвращение отрицательным подкреплением или наказанием? В популярном употреблении нет единого мнения по этому вопросу, но в специальной литературе предъявление болезненного стимула обозначается наказанием, а не отрицательным подкреплением.
Одна группа специалистов, которая часто использует термин «вознаграждение», а не термин «подкрепление», включает тех, кто изучает животных, обученных нажимать на рычаг для прямой электрической стимуляции мозга.В этом случае стимуляция имеет зависящий от памяти усиливающий эффект, но также не зависящий от памяти мгновенный «затравочный» эффект. Эффект прайминга заряжает животное энергией и ненадолго увеличивает вероятность того, что вызванный им ответ будет повторяться. Этот эффект не сохраняется в памяти. Эффективность прайминга снижается в течение нескольких десятков секунд, тогда как усиливающие (после испытания) эффекты стимуляции запоминаются на несколько дней (Gallistel et al., 1974). Усиливающий эффект пост-пробного подкрепления находит свое отражение в долговременной памяти, тогда как прайминговый эффект досудебного предъявления той же стимуляции нет.Поскольку животное обычно отвечает на стимуляцию 50–100 раз в минуту, в этих исследованиях стимулирующий эффект каждой стимуляции весьма значителен. По этой причине стимуляцию часто называют «вознаграждением за стимуляцию мозга» — фразой, которая не различает стимулирующие и подкрепляющие действия, которые вместе определяют скорость реакции животного (Wise, 1989). Тот факт, что физиологические психологи предпочитают термин вознаграждение, в то время как поведенческие фармакологи предпочитают термин подкрепление (несмотря на тот факт, что препараты, принимаемые самостоятельно, например, стимуляция мозга самостоятельно, имеют как прижигание, так и подкрепление: Пикенс и Харрис, 1968) добавляет к неуверенности неспециалистов в том, какой термин следует предпочесть.
Субъективные корреляты
Хотя положительные подкрепления часто ассоциируются с осознанным удовольствием, неясно, действительно ли они таковы. Также неясно, должны ли отрицательные подкрепления ассоциироваться с сознательной болью или дистрессом. Неясно, есть ли у подкрепления необходимые субъективные корреляты. Действительно, субъективные оценки двух наборов подкрепляющих стимулов не обязательно предсказывают, какой набор субъект будет нажимать на рычаг, чтобы просмотреть (Aharon et al., 2001).Люди сообщают, что субъективное удовольствие от инъекций героина или кокаина резко уменьшается при повторном употреблении наркотиков, но инъекции по-прежнему оказывают сильное влияние на их поведение, связанное с поиском наркотиков. Возможно, что не существует сознательной корреляции фундаментального процесса подкрепления, и что удовольствие (или боль) сообщается просто как наилучшее предположение субъекта о том, что повлияло на его поведение. Например, исследования на людях субъективных коррелятов мотивации и подкрепления и попытки смоделировать субъективные состояния у животных привели к выводу, что желание стимула и симпатия к стимулу не обязательно являются сознательными переживаниями (Berridge and Winkielman, 2003).
Список литературы
Aharon I, Etcoff N, Ariely D, Chabris CF, O’Connor E, Breiter HC (2001) Красивые лица имеют переменную ценность вознаграждения: фМРТ и поведенческие доказательства. Нейрон 32: 537-551.
Берридж К.С., Винкельман П. (2003) Что такое бессознательная эмоция? (Случай неосознанной «симпатии»). Познание и эмоции 17: 181-211.
Берридж К.С., Робинсон Т.Э. (2003) Награда за парсинг. Trends Neurosci. 26 (9): 507-13. Рассмотрение. Ошибка в: Trends Neurosci. 26 (11): 581.
Cannon CM, Palmiter RD (2003) Награда без дофамина.Журнал неврологии 23: 10827-10831.
Freed WJ, Mendelson J (1974) Airlicking: Жаждущие крысы предпочитают теплый сухой воздушный поток теплому влажному воздушному потоку. Физиология и поведение 12: 557-561.
Gallistel CR, Stellar JR, Bubis E (1974) Параметрический анализ вознаграждения за стимуляцию мозга у крысы: I. Переходный процесс и процесс, содержащий память. Журнал сравнительной и физиологической психологии 87: 848-859.
Gallistel CR, Shizgal P, Yeomans J (1981) Портрет субстрата для самостимуляции.Психологический обзор 88: 228-273.
Glickman SE, Schiff BB (1967) Биологическая теория подкрепления. Психологический обзор 74: 81-109.
Harlow HF (1953) Мыши, обезьяны, люди и мотивы. Психологический обзор 60: 23-32.
Hull CL (1943) Принципы поведения. Нью-Йорк: Appleton-Century-Crofts.
Huston JP, Mondadori C, Waser PG (1974) Содействие обучению вознаграждением за процессы памяти после испытаний. Experietia 30: 1038-1040.
Kandel ER (2001) Молекулярная биология хранения в памяти: диалог между генами и синапсами.Наука 294: 1030-1038.
Ландауэр Т.К. (1969) Армирование как уплотнение. Психологический обзор 76: 82-96.
Мессье С., Уайт Н.М. (1984) Случайные и непредвиденные действия сахарозы и усилителей сахарина: влияние на вкусовые предпочтения и память. Физиология и поведение 32: 195-203.
Olds J, Milner PM (1954) Положительное подкрепление, производимое электрической стимуляцией области перегородки и других областей мозга крысы. Журнал сравнительной и физиологической психологии 47: 419-427.
Павлов И.П. (1928) Лекции об условных рефлексах. Нью-Йорк: Международные издательства.
Пикенс Р., Харрис В.К. (1968) Самостоятельное введение d-амфетамина крысами. Психофармакология 12: 158-163.
Робинсон С., Сандстром С.М., Дененберг В.Х., Палмитер Р.Д. (2005) Определение того, регулирует ли дофамин пристрастие, желание и / или узнавание о наградах. Поведенческая неврология 119: 5-15.
Sheffield FD, Roby TB (1950) Наградная ценность непитательного сладкого вкуса.Журнал сравнительной и физиологической психологии 43: 471-481.
Скиннер Б.Ф. (1933) Скорость установления дискриминации. Журнал общей психологии 9: 302-350.
Скиннер Б.Ф. (1937) Два типа условных рефлексов: ответ Конорскому и Миллеру. Журнал общей психологии 16: 272-279.
Скиннер Б.Ф. (1938) Поведение организмов. Нью-Йорк: Appleton-Century-Crofts.
Торндайк Е.Л. (1898) Животный интеллект: экспериментальное исследование ассоциативных процессов у животных.Психологические монографии 8: 1-109.
Торндайк Е.Л. (1911) Животный интеллект. Нью-Йорк: Макмиллан.
Торндайк Э.Л. (1933) Теория воздействия на нее последствий связи. Психологический обзор 40: 434-439.
White NM (1989) Награда или поощрение: в чем разница? Neurosci Biobehav Rev 13: 181-186.
Уайт Н.М. (1996) Наркотики как подкрепление: множественные частичные действия на системы памяти. Наркомания 91: 921-949.
Уайт Н.М., Легри П. (1984) Влияние посттренировочного воздействия отталкивающего стимула на удержание.Физиологическая психология 12: 233-236.
Мудрый Р.А. (1989) Мозг и награда. В: Нейрофармакологическая основа вознаграждения (Либман Дж. М., Купер С. Дж., Ред.), Стр. 377-424. Оксфорд: Издательство Оксфордского университета.
Мудрый Р.А. (2002) Схема вознаграждения за мозг: понимание бессмысленных стимулов. Нейрон 36: 229-240.
Мудрый Р.А. (2004) Дофамин, обучение и мотивация. Nature Reviews Neuroscience 5: 483-494.
Внутренние ссылки
- Говард Эйхенбаум (2008) Память.Scholarpedia, 3 (3): 1747.
- Вольфрам Шульц (2007) Награда. Scholarpedia, 2 (3): 1652.
Внешние ссылки
См. Также
Классическое обусловливание, оперантное обусловливание, обучение с подкреплением, вознаграждение, сигналы вознаграждения
Reinforcement — Scholarpedia
Действия после публикации
Куратор: Рой Уайз
Подкрепление — термин, используемый теоретиками обучения для описания основного процесса ассоциативного обучения.
История
Термин подкрепление был введен Павловым в 1903 году для описания усиления связи между безусловным и условным стимулом, возникающего при их совместном представлении. Если ассоциация периодически не «подкрепляется» таким спариванием, эффективность условного раздражителя падает: условный ответ подвергается угасанию . Для Павлова любой безусловный раздражитель, такой как еда или дуновение воздуха в глаза, был потенциальным подкреплением; соединение такого стимула с нейтральным стимулом составляло подкрепление.Этот термин для Павлова обозначал усиление (и установление) связи между условным раздражителем и его безусловным родительским раздражителем (Павлов, 1928).
Термин «подкрепление» в настоящее время используется больше по отношению к обучению реагированию, чем к обучению по стимулам. Торндайк первым ввел концепцию подкрепления реакции, предположив, что ответы, «за которыми следует удовлетворение», будут «более прочно связаны с ситуацией, так что, когда она повторится, они будут более вероятно повторяться.В этом заключается суть Закона Торндайка (Thorndike, 1911) «Закон эффекта », более формальной формулировки «вдавливания» связей между стимулами и ответами, которые он ввел десятью годами ранее (Thorndike, 1898). Хотя Торндайк обсуждал сущностное понятие подкрепления, только в 1933 году Торндайк (Thorndike, 1933) и Скиннер (Skinner, 1933) приняли термин Павлова «подкрепление» для обозначения усиления ассоциаций «стимул-реакция».
В то время как Скиннер первоначально думал об инструментальном поведении и использовал термин «подкрепление» в рамках павловской обусловленности, он вскоре (Скиннер, 1937) пришел к выводу, что стимульное (павловское) и ответное («оперантное» или «инструментальное») обучение включают принципы и требуя различных рамок.Он пришел к отрицанию того, что то, что мы думаем о «целенаправленном» поведении, изначально вызывается внешним стимулом, и вместо этого утверждал, что первоначальные действия, которые впоследствии формируются в инструментальное поведение, испускаются организмом случайным образом, подобно тому, как случайным образом испускаются частицы. радиоактивной молекулой. Он переименовал то, что раньше называлось «ответом», назвав его «оперантом» — но теперь этот термин включал контролирующий стимул в так называемую трехчленную непредвиденную ситуацию : подкрепление усиливает реакцию в присутствии контролирующей или «различительный» стимул.Его новая формулировка была «Если за появлением операнта следует предъявление подкрепляющего стимула, сила увеличивается» (Скиннер, 1938), стр. 21. Одна проблема с формулировкой Скиннера заключается в том, что он не уточняет в своем формальном утверждении. , что именно усилено. В другом месте он указывает, что «оперант» усиливается. Под этим он подразумевает, что частота его увеличилась.
- Для Павлова была усилена ассоциация между двумя стимулами (S-S-обучение).
- Для Торндайка была усилена ассоциация между стимулом и реакцией (обучение S-R).
- Для Скиннера нет отношений, которые нужно укреплять; нет стимула участвовать в ассоциации. Есть только оперант, связанный только вероятностно, а не причинно, с любым предшествующим событием, с которым он мог бы быть связан.
Однако через несколько страниц определения интересующего поведения как «операнта» Скиннер возвращается к общепринятому термину «ответ»:
- «В первой главе указывалось, что существует два типа условных рефлексов, определяемых в зависимости от того, коррелирует ли подкрепляющий раздражитель с реакцией» (Скиннер, 1938), стр. 62.
На протяжении его третьей и последующих глав на ординатах его графиков появляются «ответы» или «ответы в час». Просто прямо заявив, что оперант является поведенческой эмиссией, а не реакцией на вызывающий стимул, Скиннер продолжает предположить, что животное узнает взаимосвязь между его поведением и его последствиями, форма обучения, обозначенная как «реакция-результат» ( RO) обучение более молодыми работниками. Таким образом, в рамках теории Скиннера именно связь между ответом и его результатом усваивается и «подкрепляется».”
Механизмы
Первая великая теория подкрепления заключалась в том, что оно запечатлевается в памяти, уменьшая физиологические потребности или дисбаланс (Hull, 1943). Идея была привлекательной, потому что говорила об очевидном факте, что обучение было механизмом, с помощью которого высшие животные могли удовлетворять свои потребности, несмотря на изменения окружающей среды, которые бросали вызов механизму инстинктов. Однако он был близоруким, поскольку имел дело только с обучением по реакции, а не со стимулированным обучением, для которого этот термин был впервые применен.Даже в случае обучения реагированию вскоре стало ясно, что уменьшение потребности не является необходимым условием подкрепления. Наиболее показательной была демонстрация того, что крысы научатся работать с подсластителями, не имеющими пищевой ценности (Sheffield and Roby, 1950), или с прямой электрической стимуляцией определенных мозговых путей (Olds and Milner, 1954). Жаждущие крысы навязчиво слизывают воздушный поток, который испаряет слюну и еще больше обезвоживает животное (Freed and Mendelson, 1974). Действительно, поведение животных изобилует примерами подкрепления, которое не снижает очевидной физиологической потребности (Harlow, 1953).
Теории подкрепления, которые постулируют физиологические механизмы, делятся на две категории: одна, которая пытается охарактеризовать анатомический субстрат (Glickman and Schiff, 1967; Gallistel et al., 1981; Wise, 2002: см. Раздел «Дифференциация от вознаграждения» ниже), и вторая, которая пытается охарактеризовать анатомический субстрат. для характеристики критических нейрофизиологических или нейрохимических событий. Внимание к критическим событиям сосредоточено вокруг понятия консолидации памяти; штампование или усиление памяти и консолидация памяти концептуально неразличимы (Landauer, 1969).
Доказательства того, что подкрепления усиливают консолидацию памяти, получены в исследованиях, в которых подкрепление вводится после несвязанного тренировочного эпизода. Прототипная демонстрация включала задачу уклонения от понижения; животные, которым был предоставлен доступ к пище после тренировочных испытаний, показали более сильное сохранение тренировки избегания, чем животные, которым не давали немедленную пищу (Huston et al., 1974). По аналогии,
- Пост-испытательный удар ногой может усилить консолидацию памяти (White and Legree, 1984).
- Пост-испытательный прием сахарозы также очень эффективен;
- содержание сахарина после испытаний меньше, несмотря на сравнение изогедонических концентраций (Messier and White, 1984).
Клеточная основа консолидации памяти — область активных исследований и гипотез. Ряд доказательств подтверждает, что дофамин важен для инструментального обучения с едой, стимуляции мозга и подкрепления лекарствами (Wise, 2004). Более того, высвобождение дофамина после испытаний может улучшить консолидацию памяти (White, 1996).Наконец, дофамин, по-видимому, играет важную роль в долгосрочной потенциации и долгосрочной депрессии у млекопитающих, моделях обучения и памяти на клеточном уровне (Wise, 2004), точно так же, как серотонин играет такую роль в аплизии (Kandel, 2001). . Однако дофамин не играет абсолютно важной роли. В то время как крысы, получавшие антагонисты дофамина, ведут себя так, как будто еда, стимуляция мозга и вызывающие привыкание психомоторные стимуляторы больше не усиливают, нокаутированные мыши, которым не хватает дофамина с рождения, могут научиться вкусовым предпочтениям (Cannon and Palmiter, 2003), и, если им дают кофеин, пища вознаграждается. Привычки реагирования на Т-образный лабиринт (Robinson et al., 2005). Таким образом, другие системы способны брать на себя эти функции у мышей, рожденных с дефицитом дофамина.
Отличие от «награды»
Различить понятия подкрепления и вознаграждения сложно из-за допущений здравого смысла, часто связанных с последним. Многие ученые используют термин «подкрепление» и избегают термина «вознаграждение» на основании точности и объективности, в то время как другие ученые, также во имя точности, предпочитают термин «вознаграждение» (Wise, 1989).
Наиболее широко распространенное различие состоит в том, что награды — это положительных подкреплений , объекты или события, к которым приближаются, а не отнимаются, тогда как подкрепления не обязательно. Связанный с этим подтекст состоит в том, что вознаграждения часто воспринимаются как психологически гедонистические, в то время как подкрепления не обязательно. Термин «вознаграждение» с этой точки зрения является синонимом фразы «положительное подкрепление» (White, 1989). Класс подкреплений включает отрицательных подкреплений , фраза со своими собственными ошибками в определениях.Отрицательное подкрепление — это подкрепление, которое возникает в результате прекращения продолжающегося — обычно отталкивающего — состояния. В таком случае, называем ли мы отвращение отрицательным подкреплением или наказанием? В популярном употреблении нет единого мнения по этому вопросу, но в специальной литературе предъявление болезненного стимула обозначается наказанием, а не отрицательным подкреплением.
Одна группа специалистов, которая часто использует термин «вознаграждение», а не термин «подкрепление», включает тех, кто изучает животных, обученных нажимать на рычаг для прямой электрической стимуляции мозга.В этом случае стимуляция имеет зависящий от памяти усиливающий эффект, но также не зависящий от памяти мгновенный «затравочный» эффект. Эффект прайминга заряжает животное энергией и ненадолго увеличивает вероятность того, что вызванный им ответ будет повторяться. Этот эффект не сохраняется в памяти. Эффективность прайминга снижается в течение нескольких десятков секунд, тогда как усиливающие (после испытания) эффекты стимуляции запоминаются на несколько дней (Gallistel et al., 1974). Усиливающий эффект пост-пробного подкрепления находит свое отражение в долговременной памяти, тогда как прайминговый эффект досудебного предъявления той же стимуляции нет.Поскольку животное обычно отвечает на стимуляцию 50–100 раз в минуту, в этих исследованиях стимулирующий эффект каждой стимуляции весьма значителен. По этой причине стимуляцию часто называют «вознаграждением за стимуляцию мозга» — фразой, которая не различает стимулирующие и подкрепляющие действия, которые вместе определяют скорость реакции животного (Wise, 1989). Тот факт, что физиологические психологи предпочитают термин вознаграждение, в то время как поведенческие фармакологи предпочитают термин подкрепление (несмотря на тот факт, что препараты, принимаемые самостоятельно, например, стимуляция мозга самостоятельно, имеют как прижигание, так и подкрепление: Пикенс и Харрис, 1968) добавляет к неуверенности неспециалистов в том, какой термин следует предпочесть.
Субъективные корреляты
Хотя положительные подкрепления часто ассоциируются с осознанным удовольствием, неясно, действительно ли они таковы. Также неясно, должны ли отрицательные подкрепления ассоциироваться с сознательной болью или дистрессом. Неясно, есть ли у подкрепления необходимые субъективные корреляты. Действительно, субъективные оценки двух наборов подкрепляющих стимулов не обязательно предсказывают, какой набор субъект будет нажимать на рычаг, чтобы просмотреть (Aharon et al., 2001).Люди сообщают, что субъективное удовольствие от инъекций героина или кокаина резко уменьшается при повторном употреблении наркотиков, но инъекции по-прежнему оказывают сильное влияние на их поведение, связанное с поиском наркотиков. Возможно, что не существует сознательной корреляции фундаментального процесса подкрепления, и что удовольствие (или боль) сообщается просто как наилучшее предположение субъекта о том, что повлияло на его поведение. Например, исследования на людях субъективных коррелятов мотивации и подкрепления и попытки смоделировать субъективные состояния у животных привели к выводу, что желание стимула и симпатия к стимулу не обязательно являются сознательными переживаниями (Berridge and Winkielman, 2003).
Список литературы
Aharon I, Etcoff N, Ariely D, Chabris CF, O’Connor E, Breiter HC (2001) Красивые лица имеют переменную ценность вознаграждения: фМРТ и поведенческие доказательства. Нейрон 32: 537-551.
Берридж К.С., Винкельман П. (2003) Что такое бессознательная эмоция? (Случай неосознанной «симпатии»). Познание и эмоции 17: 181-211.
Берридж К.С., Робинсон Т.Э. (2003) Награда за парсинг. Trends Neurosci. 26 (9): 507-13. Рассмотрение. Ошибка в: Trends Neurosci. 26 (11): 581.
Cannon CM, Palmiter RD (2003) Награда без дофамина.Журнал неврологии 23: 10827-10831.
Freed WJ, Mendelson J (1974) Airlicking: Жаждущие крысы предпочитают теплый сухой воздушный поток теплому влажному воздушному потоку. Физиология и поведение 12: 557-561.
Gallistel CR, Stellar JR, Bubis E (1974) Параметрический анализ вознаграждения за стимуляцию мозга у крысы: I. Переходный процесс и процесс, содержащий память. Журнал сравнительной и физиологической психологии 87: 848-859.
Gallistel CR, Shizgal P, Yeomans J (1981) Портрет субстрата для самостимуляции.Психологический обзор 88: 228-273.
Glickman SE, Schiff BB (1967) Биологическая теория подкрепления. Психологический обзор 74: 81-109.
Harlow HF (1953) Мыши, обезьяны, люди и мотивы. Психологический обзор 60: 23-32.
Hull CL (1943) Принципы поведения. Нью-Йорк: Appleton-Century-Crofts.
Huston JP, Mondadori C, Waser PG (1974) Содействие обучению вознаграждением за процессы памяти после испытаний. Experietia 30: 1038-1040.
Kandel ER (2001) Молекулярная биология хранения в памяти: диалог между генами и синапсами.Наука 294: 1030-1038.
Ландауэр Т.К. (1969) Армирование как уплотнение. Психологический обзор 76: 82-96.
Мессье С., Уайт Н.М. (1984) Случайные и непредвиденные действия сахарозы и усилителей сахарина: влияние на вкусовые предпочтения и память. Физиология и поведение 32: 195-203.
Olds J, Milner PM (1954) Положительное подкрепление, производимое электрической стимуляцией области перегородки и других областей мозга крысы. Журнал сравнительной и физиологической психологии 47: 419-427.
Павлов И.П. (1928) Лекции об условных рефлексах. Нью-Йорк: Международные издательства.
Пикенс Р., Харрис В.К. (1968) Самостоятельное введение d-амфетамина крысами. Психофармакология 12: 158-163.
Робинсон С., Сандстром С.М., Дененберг В.Х., Палмитер Р.Д. (2005) Определение того, регулирует ли дофамин пристрастие, желание и / или узнавание о наградах. Поведенческая неврология 119: 5-15.
Sheffield FD, Roby TB (1950) Наградная ценность непитательного сладкого вкуса.Журнал сравнительной и физиологической психологии 43: 471-481.
Скиннер Б.Ф. (1933) Скорость установления дискриминации. Журнал общей психологии 9: 302-350.
Скиннер Б.Ф. (1937) Два типа условных рефлексов: ответ Конорскому и Миллеру. Журнал общей психологии 16: 272-279.
Скиннер Б.Ф. (1938) Поведение организмов. Нью-Йорк: Appleton-Century-Crofts.
Торндайк Е.Л. (1898) Животный интеллект: экспериментальное исследование ассоциативных процессов у животных.Психологические монографии 8: 1-109.
Торндайк Е.Л. (1911) Животный интеллект. Нью-Йорк: Макмиллан.
Торндайк Э.Л. (1933) Теория воздействия на нее последствий связи. Психологический обзор 40: 434-439.
White NM (1989) Награда или поощрение: в чем разница? Neurosci Biobehav Rev 13: 181-186.
Уайт Н.М. (1996) Наркотики как подкрепление: множественные частичные действия на системы памяти. Наркомания 91: 921-949.
Уайт Н.М., Легри П. (1984) Влияние посттренировочного воздействия отталкивающего стимула на удержание.Физиологическая психология 12: 233-236.
Мудрый Р.А. (1989) Мозг и награда. В: Нейрофармакологическая основа вознаграждения (Либман Дж. М., Купер С. Дж., Ред.), Стр. 377-424. Оксфорд: Издательство Оксфордского университета.
Мудрый Р.А. (2002) Схема вознаграждения за мозг: понимание бессмысленных стимулов. Нейрон 36: 229-240.
Мудрый Р.А. (2004) Дофамин, обучение и мотивация. Nature Reviews Neuroscience 5: 483-494.
Внутренние ссылки
- Говард Эйхенбаум (2008) Память.Scholarpedia, 3 (3): 1747.
- Вольфрам Шульц (2007) Награда. Scholarpedia, 2 (3): 1652.
Внешние ссылки
См. Также
Классическое обусловливание, оперантное обусловливание, обучение с подкреплением, вознаграждение, сигналы вознаграждения
Reinforcement — Scholarpedia
Действия после публикации
Куратор: Рой Уайз
Подкрепление — термин, используемый теоретиками обучения для описания основного процесса ассоциативного обучения.
История
Термин подкрепление был введен Павловым в 1903 году для описания усиления связи между безусловным и условным стимулом, возникающего при их совместном представлении. Если ассоциация периодически не «подкрепляется» таким спариванием, эффективность условного раздражителя падает: условный ответ подвергается угасанию . Для Павлова любой безусловный раздражитель, такой как еда или дуновение воздуха в глаза, был потенциальным подкреплением; соединение такого стимула с нейтральным стимулом составляло подкрепление.Этот термин для Павлова обозначал усиление (и установление) связи между условным раздражителем и его безусловным родительским раздражителем (Павлов, 1928).
Термин «подкрепление» в настоящее время используется больше по отношению к обучению реагированию, чем к обучению по стимулам. Торндайк первым ввел концепцию подкрепления реакции, предположив, что ответы, «за которыми следует удовлетворение», будут «более прочно связаны с ситуацией, так что, когда она повторится, они будут более вероятно повторяться.В этом заключается суть Закона Торндайка (Thorndike, 1911) «Закон эффекта », более формальной формулировки «вдавливания» связей между стимулами и ответами, которые он ввел десятью годами ранее (Thorndike, 1898). Хотя Торндайк обсуждал сущностное понятие подкрепления, только в 1933 году Торндайк (Thorndike, 1933) и Скиннер (Skinner, 1933) приняли термин Павлова «подкрепление» для обозначения усиления ассоциаций «стимул-реакция».
В то время как Скиннер первоначально думал об инструментальном поведении и использовал термин «подкрепление» в рамках павловской обусловленности, он вскоре (Скиннер, 1937) пришел к выводу, что стимульное (павловское) и ответное («оперантное» или «инструментальное») обучение включают принципы и требуя различных рамок.Он пришел к отрицанию того, что то, что мы думаем о «целенаправленном» поведении, изначально вызывается внешним стимулом, и вместо этого утверждал, что первоначальные действия, которые впоследствии формируются в инструментальное поведение, испускаются организмом случайным образом, подобно тому, как случайным образом испускаются частицы. радиоактивной молекулой. Он переименовал то, что раньше называлось «ответом», назвав его «оперантом» — но теперь этот термин включал контролирующий стимул в так называемую трехчленную непредвиденную ситуацию : подкрепление усиливает реакцию в присутствии контролирующей или «различительный» стимул.Его новая формулировка была «Если за появлением операнта следует предъявление подкрепляющего стимула, сила увеличивается» (Скиннер, 1938), стр. 21. Одна проблема с формулировкой Скиннера заключается в том, что он не уточняет в своем формальном утверждении. , что именно усилено. В другом месте он указывает, что «оперант» усиливается. Под этим он подразумевает, что частота его увеличилась.
- Для Павлова была усилена ассоциация между двумя стимулами (S-S-обучение).
- Для Торндайка была усилена ассоциация между стимулом и реакцией (обучение S-R).
- Для Скиннера нет отношений, которые нужно укреплять; нет стимула участвовать в ассоциации. Есть только оперант, связанный только вероятностно, а не причинно, с любым предшествующим событием, с которым он мог бы быть связан.
Однако через несколько страниц определения интересующего поведения как «операнта» Скиннер возвращается к общепринятому термину «ответ»:
- «В первой главе указывалось, что существует два типа условных рефлексов, определяемых в зависимости от того, коррелирует ли подкрепляющий раздражитель с реакцией» (Скиннер, 1938), стр. 62.
На протяжении его третьей и последующих глав на ординатах его графиков появляются «ответы» или «ответы в час». Просто прямо заявив, что оперант является поведенческой эмиссией, а не реакцией на вызывающий стимул, Скиннер продолжает предположить, что животное узнает взаимосвязь между его поведением и его последствиями, форма обучения, обозначенная как «реакция-результат» ( RO) обучение более молодыми работниками. Таким образом, в рамках теории Скиннера именно связь между ответом и его результатом усваивается и «подкрепляется».”
Механизмы
Первая великая теория подкрепления заключалась в том, что оно запечатлевается в памяти, уменьшая физиологические потребности или дисбаланс (Hull, 1943). Идея была привлекательной, потому что говорила об очевидном факте, что обучение было механизмом, с помощью которого высшие животные могли удовлетворять свои потребности, несмотря на изменения окружающей среды, которые бросали вызов механизму инстинктов. Однако он был близоруким, поскольку имел дело только с обучением по реакции, а не со стимулированным обучением, для которого этот термин был впервые применен.Даже в случае обучения реагированию вскоре стало ясно, что уменьшение потребности не является необходимым условием подкрепления. Наиболее показательной была демонстрация того, что крысы научатся работать с подсластителями, не имеющими пищевой ценности (Sheffield and Roby, 1950), или с прямой электрической стимуляцией определенных мозговых путей (Olds and Milner, 1954). Жаждущие крысы навязчиво слизывают воздушный поток, который испаряет слюну и еще больше обезвоживает животное (Freed and Mendelson, 1974). Действительно, поведение животных изобилует примерами подкрепления, которое не снижает очевидной физиологической потребности (Harlow, 1953).
Теории подкрепления, которые постулируют физиологические механизмы, делятся на две категории: одна, которая пытается охарактеризовать анатомический субстрат (Glickman and Schiff, 1967; Gallistel et al., 1981; Wise, 2002: см. Раздел «Дифференциация от вознаграждения» ниже), и вторая, которая пытается охарактеризовать анатомический субстрат. для характеристики критических нейрофизиологических или нейрохимических событий. Внимание к критическим событиям сосредоточено вокруг понятия консолидации памяти; штампование или усиление памяти и консолидация памяти концептуально неразличимы (Landauer, 1969).
Доказательства того, что подкрепления усиливают консолидацию памяти, получены в исследованиях, в которых подкрепление вводится после несвязанного тренировочного эпизода. Прототипная демонстрация включала задачу уклонения от понижения; животные, которым был предоставлен доступ к пище после тренировочных испытаний, показали более сильное сохранение тренировки избегания, чем животные, которым не давали немедленную пищу (Huston et al., 1974). По аналогии,
- Пост-испытательный удар ногой может усилить консолидацию памяти (White and Legree, 1984).
- Пост-испытательный прием сахарозы также очень эффективен;
- содержание сахарина после испытаний меньше, несмотря на сравнение изогедонических концентраций (Messier and White, 1984).
Клеточная основа консолидации памяти — область активных исследований и гипотез. Ряд доказательств подтверждает, что дофамин важен для инструментального обучения с едой, стимуляции мозга и подкрепления лекарствами (Wise, 2004). Более того, высвобождение дофамина после испытаний может улучшить консолидацию памяти (White, 1996).Наконец, дофамин, по-видимому, играет важную роль в долгосрочной потенциации и долгосрочной депрессии у млекопитающих, моделях обучения и памяти на клеточном уровне (Wise, 2004), точно так же, как серотонин играет такую роль в аплизии (Kandel, 2001). . Однако дофамин не играет абсолютно важной роли. В то время как крысы, получавшие антагонисты дофамина, ведут себя так, как будто еда, стимуляция мозга и вызывающие привыкание психомоторные стимуляторы больше не усиливают, нокаутированные мыши, которым не хватает дофамина с рождения, могут научиться вкусовым предпочтениям (Cannon and Palmiter, 2003), и, если им дают кофеин, пища вознаграждается. Привычки реагирования на Т-образный лабиринт (Robinson et al., 2005). Таким образом, другие системы способны брать на себя эти функции у мышей, рожденных с дефицитом дофамина.
Отличие от «награды»
Различить понятия подкрепления и вознаграждения сложно из-за допущений здравого смысла, часто связанных с последним. Многие ученые используют термин «подкрепление» и избегают термина «вознаграждение» на основании точности и объективности, в то время как другие ученые, также во имя точности, предпочитают термин «вознаграждение» (Wise, 1989).
Наиболее широко распространенное различие состоит в том, что награды — это положительных подкреплений , объекты или события, к которым приближаются, а не отнимаются, тогда как подкрепления не обязательно. Связанный с этим подтекст состоит в том, что вознаграждения часто воспринимаются как психологически гедонистические, в то время как подкрепления не обязательно. Термин «вознаграждение» с этой точки зрения является синонимом фразы «положительное подкрепление» (White, 1989). Класс подкреплений включает отрицательных подкреплений , фраза со своими собственными ошибками в определениях.Отрицательное подкрепление — это подкрепление, которое возникает в результате прекращения продолжающегося — обычно отталкивающего — состояния. В таком случае, называем ли мы отвращение отрицательным подкреплением или наказанием? В популярном употреблении нет единого мнения по этому вопросу, но в специальной литературе предъявление болезненного стимула обозначается наказанием, а не отрицательным подкреплением.
Одна группа специалистов, которая часто использует термин «вознаграждение», а не термин «подкрепление», включает тех, кто изучает животных, обученных нажимать на рычаг для прямой электрической стимуляции мозга.В этом случае стимуляция имеет зависящий от памяти усиливающий эффект, но также не зависящий от памяти мгновенный «затравочный» эффект. Эффект прайминга заряжает животное энергией и ненадолго увеличивает вероятность того, что вызванный им ответ будет повторяться. Этот эффект не сохраняется в памяти. Эффективность прайминга снижается в течение нескольких десятков секунд, тогда как усиливающие (после испытания) эффекты стимуляции запоминаются на несколько дней (Gallistel et al., 1974). Усиливающий эффект пост-пробного подкрепления находит свое отражение в долговременной памяти, тогда как прайминговый эффект досудебного предъявления той же стимуляции нет.Поскольку животное обычно отвечает на стимуляцию 50–100 раз в минуту, в этих исследованиях стимулирующий эффект каждой стимуляции весьма значителен. По этой причине стимуляцию часто называют «вознаграждением за стимуляцию мозга» — фразой, которая не различает стимулирующие и подкрепляющие действия, которые вместе определяют скорость реакции животного (Wise, 1989). Тот факт, что физиологические психологи предпочитают термин вознаграждение, в то время как поведенческие фармакологи предпочитают термин подкрепление (несмотря на тот факт, что препараты, принимаемые самостоятельно, например, стимуляция мозга самостоятельно, имеют как прижигание, так и подкрепление: Пикенс и Харрис, 1968) добавляет к неуверенности неспециалистов в том, какой термин следует предпочесть.
Субъективные корреляты
Хотя положительные подкрепления часто ассоциируются с осознанным удовольствием, неясно, действительно ли они таковы. Также неясно, должны ли отрицательные подкрепления ассоциироваться с сознательной болью или дистрессом. Неясно, есть ли у подкрепления необходимые субъективные корреляты. Действительно, субъективные оценки двух наборов подкрепляющих стимулов не обязательно предсказывают, какой набор субъект будет нажимать на рычаг, чтобы просмотреть (Aharon et al., 2001).Люди сообщают, что субъективное удовольствие от инъекций героина или кокаина резко уменьшается при повторном употреблении наркотиков, но инъекции по-прежнему оказывают сильное влияние на их поведение, связанное с поиском наркотиков. Возможно, что не существует сознательной корреляции фундаментального процесса подкрепления, и что удовольствие (или боль) сообщается просто как наилучшее предположение субъекта о том, что повлияло на его поведение. Например, исследования на людях субъективных коррелятов мотивации и подкрепления и попытки смоделировать субъективные состояния у животных привели к выводу, что желание стимула и симпатия к стимулу не обязательно являются сознательными переживаниями (Berridge and Winkielman, 2003).
Список литературы
Aharon I, Etcoff N, Ariely D, Chabris CF, O’Connor E, Breiter HC (2001) Красивые лица имеют переменную ценность вознаграждения: фМРТ и поведенческие доказательства. Нейрон 32: 537-551.
Берридж К.С., Винкельман П. (2003) Что такое бессознательная эмоция? (Случай неосознанной «симпатии»). Познание и эмоции 17: 181-211.
Берридж К.С., Робинсон Т.Э. (2003) Награда за парсинг. Trends Neurosci. 26 (9): 507-13. Рассмотрение. Ошибка в: Trends Neurosci. 26 (11): 581.
Cannon CM, Palmiter RD (2003) Награда без дофамина.Журнал неврологии 23: 10827-10831.
Freed WJ, Mendelson J (1974) Airlicking: Жаждущие крысы предпочитают теплый сухой воздушный поток теплому влажному воздушному потоку. Физиология и поведение 12: 557-561.
Gallistel CR, Stellar JR, Bubis E (1974) Параметрический анализ вознаграждения за стимуляцию мозга у крысы: I. Переходный процесс и процесс, содержащий память. Журнал сравнительной и физиологической психологии 87: 848-859.
Gallistel CR, Shizgal P, Yeomans J (1981) Портрет субстрата для самостимуляции.Психологический обзор 88: 228-273.
Glickman SE, Schiff BB (1967) Биологическая теория подкрепления. Психологический обзор 74: 81-109.
Harlow HF (1953) Мыши, обезьяны, люди и мотивы. Психологический обзор 60: 23-32.
Hull CL (1943) Принципы поведения. Нью-Йорк: Appleton-Century-Crofts.
Huston JP, Mondadori C, Waser PG (1974) Содействие обучению вознаграждением за процессы памяти после испытаний. Experietia 30: 1038-1040.
Kandel ER (2001) Молекулярная биология хранения в памяти: диалог между генами и синапсами.Наука 294: 1030-1038.
Ландауэр Т.К. (1969) Армирование как уплотнение. Психологический обзор 76: 82-96.
Мессье С., Уайт Н.М. (1984) Случайные и непредвиденные действия сахарозы и усилителей сахарина: влияние на вкусовые предпочтения и память. Физиология и поведение 32: 195-203.
Olds J, Milner PM (1954) Положительное подкрепление, производимое электрической стимуляцией области перегородки и других областей мозга крысы. Журнал сравнительной и физиологической психологии 47: 419-427.
Павлов И.П. (1928) Лекции об условных рефлексах. Нью-Йорк: Международные издательства.
Пикенс Р., Харрис В.К. (1968) Самостоятельное введение d-амфетамина крысами. Психофармакология 12: 158-163.
Робинсон С., Сандстром С.М., Дененберг В.Х., Палмитер Р.Д. (2005) Определение того, регулирует ли дофамин пристрастие, желание и / или узнавание о наградах. Поведенческая неврология 119: 5-15.
Sheffield FD, Roby TB (1950) Наградная ценность непитательного сладкого вкуса.Журнал сравнительной и физиологической психологии 43: 471-481.
Скиннер Б.Ф. (1933) Скорость установления дискриминации. Журнал общей психологии 9: 302-350.
Скиннер Б.Ф. (1937) Два типа условных рефлексов: ответ Конорскому и Миллеру. Журнал общей психологии 16: 272-279.
Скиннер Б.Ф. (1938) Поведение организмов. Нью-Йорк: Appleton-Century-Crofts.
Торндайк Е.Л. (1898) Животный интеллект: экспериментальное исследование ассоциативных процессов у животных.Психологические монографии 8: 1-109.
Торндайк Е.Л. (1911) Животный интеллект. Нью-Йорк: Макмиллан.
Торндайк Э.Л. (1933) Теория воздействия на нее последствий связи. Психологический обзор 40: 434-439.
White NM (1989) Награда или поощрение: в чем разница? Neurosci Biobehav Rev 13: 181-186.
Уайт Н.М. (1996) Наркотики как подкрепление: множественные частичные действия на системы памяти. Наркомания 91: 921-949.
Уайт Н.М., Легри П. (1984) Влияние посттренировочного воздействия отталкивающего стимула на удержание.Физиологическая психология 12: 233-236.
Мудрый Р.А. (1989) Мозг и награда. В: Нейрофармакологическая основа вознаграждения (Либман Дж. М., Купер С. Дж., Ред.), Стр. 377-424. Оксфорд: Издательство Оксфордского университета.
Мудрый Р.А. (2002) Схема вознаграждения за мозг: понимание бессмысленных стимулов. Нейрон 36: 229-240.
Мудрый Р.А. (2004) Дофамин, обучение и мотивация. Nature Reviews Neuroscience 5: 483-494.
Внутренние ссылки
- Говард Эйхенбаум (2008) Память.Scholarpedia, 3 (3): 1747.
- Вольфрам Шульц (2007) Награда. Scholarpedia, 2 (3): 1652.
Внешние ссылки
См. Также
Классическое обусловливание, оперантное обусловливание, обучение с подкреплением, вознаграждение, сигналы вознаграждения
Reinforcement — Scholarpedia
Действия после публикации
Куратор: Рой Уайз
Подкрепление — термин, используемый теоретиками обучения для описания основного процесса ассоциативного обучения.
История
Термин подкрепление был введен Павловым в 1903 году для описания усиления связи между безусловным и условным стимулом, возникающего при их совместном представлении. Если ассоциация периодически не «подкрепляется» таким спариванием, эффективность условного раздражителя падает: условный ответ подвергается угасанию . Для Павлова любой безусловный раздражитель, такой как еда или дуновение воздуха в глаза, был потенциальным подкреплением; соединение такого стимула с нейтральным стимулом составляло подкрепление.Этот термин для Павлова обозначал усиление (и установление) связи между условным раздражителем и его безусловным родительским раздражителем (Павлов, 1928).
Термин «подкрепление» в настоящее время используется больше по отношению к обучению реагированию, чем к обучению по стимулам. Торндайк первым ввел концепцию подкрепления реакции, предположив, что ответы, «за которыми следует удовлетворение», будут «более прочно связаны с ситуацией, так что, когда она повторится, они будут более вероятно повторяться.В этом заключается суть Закона Торндайка (Thorndike, 1911) «Закон эффекта », более формальной формулировки «вдавливания» связей между стимулами и ответами, которые он ввел десятью годами ранее (Thorndike, 1898). Хотя Торндайк обсуждал сущностное понятие подкрепления, только в 1933 году Торндайк (Thorndike, 1933) и Скиннер (Skinner, 1933) приняли термин Павлова «подкрепление» для обозначения усиления ассоциаций «стимул-реакция».
В то время как Скиннер первоначально думал об инструментальном поведении и использовал термин «подкрепление» в рамках павловской обусловленности, он вскоре (Скиннер, 1937) пришел к выводу, что стимульное (павловское) и ответное («оперантное» или «инструментальное») обучение включают принципы и требуя различных рамок.Он пришел к отрицанию того, что то, что мы думаем о «целенаправленном» поведении, изначально вызывается внешним стимулом, и вместо этого утверждал, что первоначальные действия, которые впоследствии формируются в инструментальное поведение, испускаются организмом случайным образом, подобно тому, как случайным образом испускаются частицы. радиоактивной молекулой. Он переименовал то, что раньше называлось «ответом», назвав его «оперантом» — но теперь этот термин включал контролирующий стимул в так называемую трехчленную непредвиденную ситуацию : подкрепление усиливает реакцию в присутствии контролирующей или «различительный» стимул.Его новая формулировка была «Если за появлением операнта следует предъявление подкрепляющего стимула, сила увеличивается» (Скиннер, 1938), стр. 21. Одна проблема с формулировкой Скиннера заключается в том, что он не уточняет в своем формальном утверждении. , что именно усилено. В другом месте он указывает, что «оперант» усиливается. Под этим он подразумевает, что частота его увеличилась.
- Для Павлова была усилена ассоциация между двумя стимулами (S-S-обучение).
- Для Торндайка была усилена ассоциация между стимулом и реакцией (обучение S-R).
- Для Скиннера нет отношений, которые нужно укреплять; нет стимула участвовать в ассоциации. Есть только оперант, связанный только вероятностно, а не причинно, с любым предшествующим событием, с которым он мог бы быть связан.
Однако через несколько страниц определения интересующего поведения как «операнта» Скиннер возвращается к общепринятому термину «ответ»:
- «В первой главе указывалось, что существует два типа условных рефлексов, определяемых в зависимости от того, коррелирует ли подкрепляющий раздражитель с реакцией» (Скиннер, 1938), стр. 62.
На протяжении его третьей и последующих глав на ординатах его графиков появляются «ответы» или «ответы в час». Просто прямо заявив, что оперант является поведенческой эмиссией, а не реакцией на вызывающий стимул, Скиннер продолжает предположить, что животное узнает взаимосвязь между его поведением и его последствиями, форма обучения, обозначенная как «реакция-результат» ( RO) обучение более молодыми работниками. Таким образом, в рамках теории Скиннера именно связь между ответом и его результатом усваивается и «подкрепляется».”
Механизмы
Первая великая теория подкрепления заключалась в том, что оно запечатлевается в памяти, уменьшая физиологические потребности или дисбаланс (Hull, 1943). Идея была привлекательной, потому что говорила об очевидном факте, что обучение было механизмом, с помощью которого высшие животные могли удовлетворять свои потребности, несмотря на изменения окружающей среды, которые бросали вызов механизму инстинктов. Однако он был близоруким, поскольку имел дело только с обучением по реакции, а не со стимулированным обучением, для которого этот термин был впервые применен.Даже в случае обучения реагированию вскоре стало ясно, что уменьшение потребности не является необходимым условием подкрепления. Наиболее показательной была демонстрация того, что крысы научатся работать с подсластителями, не имеющими пищевой ценности (Sheffield and Roby, 1950), или с прямой электрической стимуляцией определенных мозговых путей (Olds and Milner, 1954). Жаждущие крысы навязчиво слизывают воздушный поток, который испаряет слюну и еще больше обезвоживает животное (Freed and Mendelson, 1974). Действительно, поведение животных изобилует примерами подкрепления, которое не снижает очевидной физиологической потребности (Harlow, 1953).
Теории подкрепления, которые постулируют физиологические механизмы, делятся на две категории: одна, которая пытается охарактеризовать анатомический субстрат (Glickman and Schiff, 1967; Gallistel et al., 1981; Wise, 2002: см. Раздел «Дифференциация от вознаграждения» ниже), и вторая, которая пытается охарактеризовать анатомический субстрат. для характеристики критических нейрофизиологических или нейрохимических событий. Внимание к критическим событиям сосредоточено вокруг понятия консолидации памяти; штампование или усиление памяти и консолидация памяти концептуально неразличимы (Landauer, 1969).
Доказательства того, что подкрепления усиливают консолидацию памяти, получены в исследованиях, в которых подкрепление вводится после несвязанного тренировочного эпизода. Прототипная демонстрация включала задачу уклонения от понижения; животные, которым был предоставлен доступ к пище после тренировочных испытаний, показали более сильное сохранение тренировки избегания, чем животные, которым не давали немедленную пищу (Huston et al., 1974). По аналогии,
- Пост-испытательный удар ногой может усилить консолидацию памяти (White and Legree, 1984).
- Пост-испытательный прием сахарозы также очень эффективен;
- содержание сахарина после испытаний меньше, несмотря на сравнение изогедонических концентраций (Messier and White, 1984).
Клеточная основа консолидации памяти — область активных исследований и гипотез. Ряд доказательств подтверждает, что дофамин важен для инструментального обучения с едой, стимуляции мозга и подкрепления лекарствами (Wise, 2004). Более того, высвобождение дофамина после испытаний может улучшить консолидацию памяти (White, 1996).Наконец, дофамин, по-видимому, играет важную роль в долгосрочной потенциации и долгосрочной депрессии у млекопитающих, моделях обучения и памяти на клеточном уровне (Wise, 2004), точно так же, как серотонин играет такую роль в аплизии (Kandel, 2001). . Однако дофамин не играет абсолютно важной роли. В то время как крысы, получавшие антагонисты дофамина, ведут себя так, как будто еда, стимуляция мозга и вызывающие привыкание психомоторные стимуляторы больше не усиливают, нокаутированные мыши, которым не хватает дофамина с рождения, могут научиться вкусовым предпочтениям (Cannon and Palmiter, 2003), и, если им дают кофеин, пища вознаграждается. Привычки реагирования на Т-образный лабиринт (Robinson et al., 2005). Таким образом, другие системы способны брать на себя эти функции у мышей, рожденных с дефицитом дофамина.
Отличие от «награды»
Различить понятия подкрепления и вознаграждения сложно из-за допущений здравого смысла, часто связанных с последним. Многие ученые используют термин «подкрепление» и избегают термина «вознаграждение» на основании точности и объективности, в то время как другие ученые, также во имя точности, предпочитают термин «вознаграждение» (Wise, 1989).
Наиболее широко распространенное различие состоит в том, что награды — это положительных подкреплений , объекты или события, к которым приближаются, а не отнимаются, тогда как подкрепления не обязательно. Связанный с этим подтекст состоит в том, что вознаграждения часто воспринимаются как психологически гедонистические, в то время как подкрепления не обязательно. Термин «вознаграждение» с этой точки зрения является синонимом фразы «положительное подкрепление» (White, 1989). Класс подкреплений включает отрицательных подкреплений , фраза со своими собственными ошибками в определениях.Отрицательное подкрепление — это подкрепление, которое возникает в результате прекращения продолжающегося — обычно отталкивающего — состояния. В таком случае, называем ли мы отвращение отрицательным подкреплением или наказанием? В популярном употреблении нет единого мнения по этому вопросу, но в специальной литературе предъявление болезненного стимула обозначается наказанием, а не отрицательным подкреплением.
Одна группа специалистов, которая часто использует термин «вознаграждение», а не термин «подкрепление», включает тех, кто изучает животных, обученных нажимать на рычаг для прямой электрической стимуляции мозга.В этом случае стимуляция имеет зависящий от памяти усиливающий эффект, но также не зависящий от памяти мгновенный «затравочный» эффект. Эффект прайминга заряжает животное энергией и ненадолго увеличивает вероятность того, что вызванный им ответ будет повторяться. Этот эффект не сохраняется в памяти. Эффективность прайминга снижается в течение нескольких десятков секунд, тогда как усиливающие (после испытания) эффекты стимуляции запоминаются на несколько дней (Gallistel et al., 1974). Усиливающий эффект пост-пробного подкрепления находит свое отражение в долговременной памяти, тогда как прайминговый эффект досудебного предъявления той же стимуляции нет.Поскольку животное обычно отвечает на стимуляцию 50–100 раз в минуту, в этих исследованиях стимулирующий эффект каждой стимуляции весьма значителен. По этой причине стимуляцию часто называют «вознаграждением за стимуляцию мозга» — фразой, которая не различает стимулирующие и подкрепляющие действия, которые вместе определяют скорость реакции животного (Wise, 1989). Тот факт, что физиологические психологи предпочитают термин вознаграждение, в то время как поведенческие фармакологи предпочитают термин подкрепление (несмотря на тот факт, что препараты, принимаемые самостоятельно, например, стимуляция мозга самостоятельно, имеют как прижигание, так и подкрепление: Пикенс и Харрис, 1968) добавляет к неуверенности неспециалистов в том, какой термин следует предпочесть.
Субъективные корреляты
Хотя положительные подкрепления часто ассоциируются с осознанным удовольствием, неясно, действительно ли они таковы. Также неясно, должны ли отрицательные подкрепления ассоциироваться с сознательной болью или дистрессом. Неясно, есть ли у подкрепления необходимые субъективные корреляты. Действительно, субъективные оценки двух наборов подкрепляющих стимулов не обязательно предсказывают, какой набор субъект будет нажимать на рычаг, чтобы просмотреть (Aharon et al., 2001).Люди сообщают, что субъективное удовольствие от инъекций героина или кокаина резко уменьшается при повторном употреблении наркотиков, но инъекции по-прежнему оказывают сильное влияние на их поведение, связанное с поиском наркотиков. Возможно, что не существует сознательной корреляции фундаментального процесса подкрепления, и что удовольствие (или боль) сообщается просто как наилучшее предположение субъекта о том, что повлияло на его поведение. Например, исследования на людях субъективных коррелятов мотивации и подкрепления и попытки смоделировать субъективные состояния у животных привели к выводу, что желание стимула и симпатия к стимулу не обязательно являются сознательными переживаниями (Berridge and Winkielman, 2003).
Список литературы
Aharon I, Etcoff N, Ariely D, Chabris CF, O’Connor E, Breiter HC (2001) Красивые лица имеют переменную ценность вознаграждения: фМРТ и поведенческие доказательства. Нейрон 32: 537-551.
Берридж К.С., Винкельман П. (2003) Что такое бессознательная эмоция? (Случай неосознанной «симпатии»). Познание и эмоции 17: 181-211.
Берридж К.С., Робинсон Т.Э. (2003) Награда за парсинг. Trends Neurosci. 26 (9): 507-13. Рассмотрение. Ошибка в: Trends Neurosci. 26 (11): 581.
Cannon CM, Palmiter RD (2003) Награда без дофамина.Журнал неврологии 23: 10827-10831.
Freed WJ, Mendelson J (1974) Airlicking: Жаждущие крысы предпочитают теплый сухой воздушный поток теплому влажному воздушному потоку. Физиология и поведение 12: 557-561.
Gallistel CR, Stellar JR, Bubis E (1974) Параметрический анализ вознаграждения за стимуляцию мозга у крысы: I. Переходный процесс и процесс, содержащий память. Журнал сравнительной и физиологической психологии 87: 848-859.
Gallistel CR, Shizgal P, Yeomans J (1981) Портрет субстрата для самостимуляции.Психологический обзор 88: 228-273.
Glickman SE, Schiff BB (1967) Биологическая теория подкрепления. Психологический обзор 74: 81-109.
Harlow HF (1953) Мыши, обезьяны, люди и мотивы. Психологический обзор 60: 23-32.
Hull CL (1943) Принципы поведения. Нью-Йорк: Appleton-Century-Crofts.
Huston JP, Mondadori C, Waser PG (1974) Содействие обучению вознаграждением за процессы памяти после испытаний. Experietia 30: 1038-1040.
Kandel ER (2001) Молекулярная биология хранения в памяти: диалог между генами и синапсами.Наука 294: 1030-1038.
Ландауэр Т.К. (1969) Армирование как уплотнение. Психологический обзор 76: 82-96.
Мессье С., Уайт Н.М. (1984) Случайные и непредвиденные действия сахарозы и усилителей сахарина: влияние на вкусовые предпочтения и память. Физиология и поведение 32: 195-203.
Olds J, Milner PM (1954) Положительное подкрепление, производимое электрической стимуляцией области перегородки и других областей мозга крысы. Журнал сравнительной и физиологической психологии 47: 419-427.
Павлов И.П. (1928) Лекции об условных рефлексах. Нью-Йорк: Международные издательства.
Пикенс Р., Харрис В.К. (1968) Самостоятельное введение d-амфетамина крысами. Психофармакология 12: 158-163.
Робинсон С., Сандстром С.М., Дененберг В.Х., Палмитер Р.Д. (2005) Определение того, регулирует ли дофамин пристрастие, желание и / или узнавание о наградах. Поведенческая неврология 119: 5-15.
Sheffield FD, Roby TB (1950) Наградная ценность непитательного сладкого вкуса.Журнал сравнительной и физиологической психологии 43: 471-481.
Скиннер Б.Ф. (1933) Скорость установления дискриминации. Журнал общей психологии 9: 302-350.
Скиннер Б.Ф. (1937) Два типа условных рефлексов: ответ Конорскому и Миллеру. Журнал общей психологии 16: 272-279.
Скиннер Б.Ф. (1938) Поведение организмов. Нью-Йорк: Appleton-Century-Crofts.
Торндайк Е.Л. (1898) Животный интеллект: экспериментальное исследование ассоциативных процессов у животных.Психологические монографии 8: 1-109.
Торндайк Е.Л. (1911) Животный интеллект. Нью-Йорк: Макмиллан.
Торндайк Э.Л. (1933) Теория воздействия на нее последствий связи. Психологический обзор 40: 434-439.
White NM (1989) Награда или поощрение: в чем разница? Neurosci Biobehav Rev 13: 181-186.
Уайт Н.М. (1996) Наркотики как подкрепление: множественные частичные действия на системы памяти. Наркомания 91: 921-949.
Уайт Н.М., Легри П. (1984) Влияние посттренировочного воздействия отталкивающего стимула на удержание.Физиологическая психология 12: 233-236.
Мудрый Р.А. (1989) Мозг и награда. В: Нейрофармакологическая основа вознаграждения (Либман Дж. М., Купер С. Дж., Ред.), Стр. 377-424. Оксфорд: Издательство Оксфордского университета.
Мудрый Р.А. (2002) Схема вознаграждения за мозг: понимание бессмысленных стимулов. Нейрон 36: 229-240.
Мудрый Р.А. (2004) Дофамин, обучение и мотивация. Nature Reviews Neuroscience 5: 483-494.
Внутренние ссылки
- Говард Эйхенбаум (2008) Память.Scholarpedia, 3 (3): 1747.
- Вольфрам Шульц (2007) Награда. Scholarpedia, 2 (3): 1652.
Внешние ссылки
См. Также
Классическое обусловливание, оперантное обусловливание, обучение с подкреплением, вознаграждение, сигналы вознаграждения
Operant Conditioning — Введение в психологию — 1-е канадское издание
Цели обучения
- Обрисуйте принципы оперантного кондиционирования.
- Объясните, как обучение может быть сформировано с помощью расписания подкрепления и дополнительных подкреплений.
При классическом кондиционировании организм учится связывать новые стимулы с естественными биологическими реакциями, такими как слюноотделение или страх. Организм не узнает что-то новое, а скорее начинает выполнять существующее поведение при наличии нового сигнала. Оперантное кондиционирование , с другой стороны, — это обучение, которое происходит на основе последствий поведения и может включать обучение новым действиям. Оперантная обусловленность возникает, когда собака переворачивается по команде, потому что ее хвалили за это в прошлом, когда хулиган в школе угрожает своим одноклассникам, потому что это позволяет ему добиться своего, и когда ребенок получает хорошие оценки, потому что его родители угрожают наказать ее, если она этого не сделает.При оперантном кондиционировании организм учится на последствиях своих собственных действий.
Как подкрепление и наказание влияют на поведение: исследования Торндайка и Скиннера
Психолог Эдвард Л. Торндайк (1874-1949) был первым ученым, систематически изучавшим оперантную обусловленность. В своем исследовании Торндайк (1898) наблюдал за кошками, которые были помещены в «коробку-головоломку», из которой они пытались сбежать («Видеоклип: Головоломка Торндайка»). Сначала кошки царапали, кусали и шлепали наугад, не зная, как выбраться.Но в конце концов и случайно они нажали на рычаг, открывший дверь, и вышли к своей добыче — куску рыбы. В следующий раз, когда кошка была заключена в коробку, она предприняла меньше неэффективных ответов перед тем, как совершить успешный побег, и после нескольких попыток кошка научилась почти сразу же реагировать правильно.
Наблюдение за этими изменениями в поведении кошек привело Торндайка к разработке своего закона , , согласно которому реакции, создающие типично приятный результат в конкретной ситуации, с большей вероятностью повторятся в аналогичной ситуации, тогда как реакции, которые вызывают типично неприятный исход с меньшей вероятностью повторится в ситуации (Thorndike, 1911).Суть закона эффекта состоит в том, что успешные ответы, поскольку они доставляют удовольствие, «отпечатываются» на опыте и, таким образом, возникают чаще. Неудачные ответы, вызывающие неприятные переживания, «вытесняются» и впоследствии возникают реже.
Когда Торндайк поместил своих кошек в коробку с пазлами, он обнаружил, что они научились выполнять важные побеги быстрее после каждого испытания. Торндайк описал обучение, которое следует за подкреплением, в терминах закона эффекта.
Смотрите: «Коробка головоломок Торндайка» [YouTube]: http://www.youtube.com/watch?v=BDujDOLre-8
Влиятельный поведенческий психолог Б. Ф. Скиннер (1904–1990) развил идеи Торндайка и разработал более полный набор принципов для объяснения оперантной обусловленности. Скиннер создал специально разработанную среду, известную как оперантные камеры (обычно называемые ящиками Скиннера ) для систематического изучения обучения. Ящик Скиннера (оперантная камера) — это конструкция, достаточно большая для размещения грызуна или птицы и содержащая стержень или ключ, на которые организм может нажать или клевать, чтобы высвободить пищу или воду.Он также содержит устройство для записи ответов животного (рис. 8.5).
Самые простые эксперименты Скиннера были очень похожи на исследования Торндайка с кошками. Крыса, помещенная в камеру, отреагировала, как и следовало ожидать, сновала по ящику, принюхиваясь и царапая пол и стены. В конце концов крыса наткнулась на рычаг, на который она нажала, чтобы высвободить гранулы пищи. В следующий раз крысе потребовалось немного меньше времени, чтобы нажать на рычаг, и при последующих испытаниях время, необходимое для нажатия рычага, становилось все короче и короче.Вскоре крыса нажимала на рычаг так быстро, как могла съесть появившуюся пищу. Согласно закону эффекта, крыса научилась повторять действие, которое привело к появлению пищи, и прекращать действия, которые не привели к появлению пищи.
Скиннер подробно изучил, как животные меняют свое поведение посредством подкрепления и наказания, и разработал термины, объясняющие процессы оперантного обучения (Таблица 8.1, «Как положительное и отрицательное подкрепление и наказание влияют на поведение»).Скиннер использовал термин поощрение для обозначения любого события, которое усиливает или увеличивает вероятность поведения, и термин наказывающий для обозначения любого события, которое ослабляет или снижает вероятность поведения . И он использовал термины положительный и отрицательный , чтобы указать, было ли усиление представлено или удалено соответственно. Таким образом, положительное подкрепление усиливает ответ, представляя что-то приятное после ответа, и отрицательное подкрепление усиливает ответ, уменьшая или удаляя что-то неприятное .Например, похвала ребенка за выполнение домашней работы представляет собой положительное подкрепление, тогда как прием аспирина для уменьшения головной боли — отрицательное подкрепление. В обоих случаях подкрепление повышает вероятность того, что поведение повторится снова в будущем.
Рисунок 8.5 Коробка Скиннера. Б. Ф. Скиннер использовал ящик Скиннера для изучения оперантного обучения. Коробка содержит стержень или кнопку, на которую организм может нажать, чтобы получить пищу и воду, и устройство, которое записывает реакции организма.
[Пропустить таблицу] | |||
Условие операнта | Описание | Результат | Пример |
---|---|---|---|
Положительное армирование | Добавить или усилить приятный раздражитель | Поведение усилено | Вручение приза студенту после того, как он или она получит пятерку за тест |
Отрицательное армирование | Уменьшите или удалите неприятный раздражитель | Поведение усилено | Прием обезболивающих, снимающих боль, увеличивает вероятность того, что вы снова будете принимать обезболивающие |
Положительное наказание | Подарите или добавьте неприятный раздражитель | Поведение ослаблено | Давать ученику дополнительное домашнее задание после того, как он или она плохо себя ведет в классе |
Отрицательное наказание | Уменьшите или удалите приятный раздражитель | Поведение ослаблено | Забирают компьютер у подростка после того, как он или она пропустили комендантский час |
Положительное или отрицательное подкрепление работает, увеличивая вероятность поведения. Наказание , с другой стороны, относится к любому событию, которое ослабляет или снижает вероятность поведения . Положительное наказание ослабляет ответ, представляя что-то неприятное после ответа , тогда как отрицательное наказание ослабляет ответ, уменьшая или удаляя что-то приятное . Ребенок, который оказывается на земле после ссоры с братом или сестрой (положительное наказание) или теряет возможность пойти на перемену после плохой оценки (отрицательное наказание), с меньшей вероятностью будет повторять такое поведение.
Хотя различие между подкреплением (которое усиливает поведение) и наказанием (которое его уменьшает) обычно очевидно, в некоторых случаях трудно определить, является ли подкрепление положительным или отрицательным. В жаркий день прохладный ветерок можно рассматривать как положительное подкрепление (потому что он приносит прохладный воздух) или отрицательное подкрепление (потому что он удаляет горячий воздух). В остальных случаях подкрепление может быть как положительным, так и отрицательным. Можно курить сигарету как потому, что она приносит удовольствие (положительное подкрепление), так и потому, что она устраняет тягу к никотину (отрицательное подкрепление).
Также важно отметить, что подкрепление и наказание — это не просто противоположности. Использование положительного подкрепления для изменения поведения почти всегда более эффективно, чем применение наказания. Это связано с тем, что положительное подкрепление заставляет человека или животное чувствовать себя лучше, помогая создать позитивные отношения с человеком, обеспечивающим подкрепление. Типы положительного подкрепления, которые эффективны в повседневной жизни, включают словесную похвалу или одобрение, присвоение статуса или престижа и прямую финансовую выплату.С другой стороны, наказание с большей вероятностью приведет только к временным изменениям в поведении, поскольку оно основано на принуждении и обычно создает негативные и враждебные отношения с человеком, обеспечивающим подкрепление. Когда человек, применяющий наказание, покидает ситуацию, нежелательное поведение, скорее всего, вернется.
Создание сложного поведения с помощью оперантного кондиционирования
Возможно, вы помните, как смотрели фильм или были на шоу, в котором животное — может быть, собака, лошадь или дельфин — делало довольно удивительные вещи.Дрессировщик дал команду и дельфин доплыл до дна бассейна, поднял кольцо на носу, выпрыгнул из воды через обруч в воздухе, снова нырнул на дно бассейна, поднял еще одно кольцо, а затем отнес оба кольца к тренеру на краю бассейна. Животное было обучено выполнять этот трюк, и для его обучения использовались принципы оперантной обусловленности. Но это сложное поведение далеки от простых отношений «стимул-реакция», которые мы рассматривали до сих пор.Как можно использовать подкрепление для создания такого сложного поведения?
Один из способов расширить использование оперантного обучения — изменить расписание, по которому применяется подкрепление. До сих пор мы обсуждали только график непрерывного подкрепления , в котором желаемый ответ усиливается каждый раз, когда он возникает ; например, всякий раз, когда собака переворачивается, она получает печенье. Непрерывное подкрепление приводит к относительно быстрому обучению, но также к быстрому исчезновению желаемого поведения после исчезновения подкрепления.Проблема в том, что, поскольку организм привык получать подкрепление после каждого поведения, реагирующий может быстро сдаться, когда оно не проявляется.
Большинство реальных подкреплений непостоянны; они происходят по графику частичного (или прерывистого) подкрепления – графику, в котором ответы иногда усиливаются, а иногда нет. По сравнению с непрерывным подкреплением графики частичного подкрепления приводят к более медленному начальному обучению, но они также приводят к большему сопротивлению исчезновению.Поскольку подкрепление не появляется после каждого поведения, учащемуся требуется больше времени, чтобы определить, что награда больше не приходит, и, таким образом, вымирание происходит медленнее. Четыре типа графиков частичного армирования приведены в Таблице 8.2, «Графики армирования».
[Пропустить таблицу] | ||
График армирования | Пояснение | Реальный пример |
---|---|---|
Фиксированное соотношение | Поведение усиливается после определенного количества ответов. | Заводских рабочих, получающих заработную плату в соответствии с количеством произведенной ими продукции |
Переменное передаточное число | Поведение усиливается после среднего, но непредсказуемого количества ответов. | Выплаты в игровых автоматах и других азартных играх |
С фиксированным интервалом | Поведение усиливается для первого ответа по прошествии определенного времени. | Люди с ежемесячной заработной платой |
переменный интервал | Поведение усиливается при первом ответе по прошествии среднего, но непредсказуемого количества времени. | Человек, проверяющий электронную почту на наличие сообщений |
Графики частичного подкрепления определяются тем, предоставляется ли подкрепление на основе времени, которое проходит между подкреплениями (интервал), или на основе количества реакций, в которых участвует организм (соотношение), и тем, насколько подкрепление происходит по регулярному (фиксированному) или непредсказуемому (переменному) графику. В расписании с фиксированным интервалом подкрепление происходит для первого ответа, сделанного после того, как определенное количество времени прошло .Например, по расписанию с фиксированным интервалом в одну минуту животное получает подкрепление каждую минуту, при условии, что оно проявляет такое поведение хотя бы один раз в течение минуты. Как вы можете видеть на Рисунке 8.6, «Примеры паттернов реакции у животных, обученных различным схемам частичного подкрепления», животные, работающие по графикам с фиксированным интервалом, обычно замедляют свою реакцию сразу после подкрепления, но затем снова усиливают поведение, когда следующее подкрепление приближается.(Большинство студентов готовятся к экзаменам одинаково.) В расписании с переменным интервалом , , подкрепления появляются в расписании с интервалом, но время варьируется около среднего интервала, что делает фактическое появление подкрепления непредсказуемым. Примером может служить проверка вашей электронной почты: вас подкрепляют сообщениями, которые приходят в среднем, скажем, каждые 30 минут, но подкрепление происходит только в случайное время. График интервального подкрепления, как правило, дает медленную и стабильную скорость реакции.
Рисунок 8.6 Примеры паттернов реакции животных, обученных по разным графикам частичного подкрепления. Расписания, основанные на количестве ответов (типы соотношений), вызывают большую скорость отклика, чем графики, основанные на прошедшем времени (типы интервалов). Кроме того, непредсказуемые расписания (типы переменных) вызывают более сильную реакцию, чем предсказуемые расписания (фиксированные типы).
В расписании с фиксированным коэффициентом , поведение усиливается после определенного количества ответов .Например, поведение крысы может быть усилено после того, как она нажала клавишу 20 раз, или продавец может получить бонус после того, как он или она продал 10 товаров. Как вы можете видеть на Рисунке 8.6, «Примеры паттернов реакции животных, обученных различным графикам частичного подкрепления», как только организм научится действовать в соответствии с графиком фиксированного соотношения, он будет делать паузу только на короткое время, когда подкрепление происходит, прежде чем вернуться к высокий уровень отзывчивости. График с переменным соотношением обеспечивает подкрепление после определенного, но среднего числа ответов .Выигрыш денег в игровых автоматах или лотерейный билет — это пример подкрепления, которое происходит по графику с переменным соотношением. Например, игровой автомат (см. Рисунок 8.7, «Игровой автомат») может быть запрограммирован на выдачу выигрыша в среднем каждые 20 раз, когда пользователь тянет ручку. График соотношения, как правило, дает высокий уровень ответов, потому что подкрепление увеличивается по мере увеличения количества ответов.
Рисунок 8.7 Игровой автомат. Игровые автоматы — примеры расписания подкрепления с переменным соотношением.
Сложное поведение также создается посредством формирования , процесса направления поведения организма к желаемому результату посредством использования последовательного приближения к окончательному желаемому поведению . Скиннер широко использовал эту процедуру в своих ящиках. Например, он мог научить крысу нажимать на перекладину два раза, чтобы получить еду, сначала давая еду, когда животное приближалось к стойке. Когда такое поведение было изучено, Скиннер начинал давать пищу только тогда, когда крыса касалась стойки.Дальнейшее формование ограничивало армирование только тогда, когда крыса нажимала на стержень, когда она нажимала на стержень и касалась его второй раз, и, наконец, только когда она нажимала на стержень дважды. Хотя на это может уйти много времени, таким образом оперантное обусловливание может создавать цепочки поведения, которые подкрепляются только тогда, когда они завершаются.
Подкрепление животных, если они правильно распознают похожие стимулы, позволяет ученым проверять способность животных к обучению, и различия, которые они могут делать, иногда бывают замечательными.Голубей приучили различать образы Чарли Брауна и других персонажей Арахиса (Cerella, 1980), а также разные стили музыки и искусства (Porter & Neuringer, 1984; Watanabe, Sakamoto & Wakita, 1995).
Поведение можно также обучить с помощью вторичных подкреплений . В то время как первичное подкрепление включает стимулов, которые естественным образом предпочтительны для организма или которые ему нравятся, такие как еда, вода и облегчение боли , вторичное подкрепление (иногда называемое условным подкреплением ) является нейтральным событием , стал ассоциироваться с первичным подкреплением через классическое обусловливание .Примером вторичного подкрепления может быть свисток дрессировщика животных, который со временем ассоциировался с основным подкреплением — едой. Примером повседневного вторичного подкрепления являются деньги. Нам нравится иметь деньги не столько на сам стимул, сколько на первичные подкрепления (вещи, которые можно купить за деньги), с которыми они связаны.
Основные выводы
- Эдвард Торндайк разработал закон эффекта: принцип, согласно которому реакции, которые создают типично приятный результат в конкретной ситуации, с большей вероятностью повторятся в аналогичной ситуации, тогда как реакции, которые приводят к типично неприятному исходу, с меньшей вероятностью повторятся в ситуация.
- Б. Ф. Скиннер расширил идеи Торндайка, чтобы разработать набор принципов для объяснения оперантной обусловленности.
- Положительное подкрепление усиливает реакцию, представляя что-то обычно приятное после ответа, тогда как отрицательное подкрепление усиливает реакцию, уменьшая или удаляя что-то, что обычно неприятно.
- Положительное наказание ослабляет реакцию, представляя что-то обычно неприятное после ответа, тогда как отрицательное наказание ослабляет реакцию, уменьшая или удаляя что-то, что обычно приятно.
- Армирование может быть частичным или непрерывным. График частичного подкрепления определяется тем, предоставляется ли подкрепление на основе времени, которое проходит между подкреплениями (интервал) или на основе количества реакций, в которых участвует организм (соотношение), и тем, происходит ли подкрепление на регулярное (фиксированное) или непредсказуемое (переменное) расписание.
- Сложное поведение может быть создано посредством формирования, процесса управления поведением организма к желаемому результату посредством использования последовательного приближения к окончательному желаемому поведению.
Упражнения и критическое мышление
- Приведите примеры из повседневной жизни каждого из следующего: положительное подкрепление, отрицательное подкрепление, положительное наказание, отрицательное наказание.
- Подумайте о методах подкрепления, которые вы можете использовать, чтобы научить собаку ловить и подбирать фрисби, который вы ей бросаете.
- Посмотрите следующие два видео из текущих телешоу. Можете ли вы определить, какие процедуры обучения демонстрируются?
- Офис : http: // www.break.com/usercontent/2009/11/the-office-altoid-experiment-1499823
- Теория большого взрыва [YouTube]: http://www.youtube.com/watch?v=JA96Fba-WHk
Список литературы
Cerella, J. (1980). Голубиный анализ картинок. Распознавание образов, 12 , 1–6.
Кассин, С. (2003). Основы психологии. Река Аппер Сэдл, штат Нью-Джерси: Prentice Hall. Получено с веб-сайта «Основы психологии» Прентис Холл: http: // wps.prenhall.com/hss_kassin_essentials_1/15/3933/1006917.cw/index.html
Портер Д. и Нойрингер А. (1984). Музыкальные различия голубями. Журнал экспериментальной психологии: процессы поведения животных, 10 (2), 138–148.
Торндайк, Э. Л. (1898). Животный интеллект: экспериментальное исследование ассоциативных процессов у животных. Вашингтон, округ Колумбия: Американская психологическая ассоциация.
Торндайк, Э. Л. (1911). Интеллект животных: экспериментальные исследования. Нью-Йорк, Нью-Йорк: Макмиллан. Получено с http://www.archive.org/details/animalintelligen00thor
.
Ватанабэ С., Сакамото Дж. И Вакита М. (1995). Различение голубей живописи Моне и Пикассо. Журнал экспериментального анализа поведения, 63 (2), 165–174.
Авторство изображений
Рисунок 8.5: «Ящик Скиннера» (http://en.wikipedia.org/wiki/File:Skinner_box_photo_02.jpg) находится под лицензией CC BY SA 3.0 (http: // creativecommons.org / licenses / by-sa / 3.0 / deed.en). «Схема бокса Скиннера» Андреаса1 (http://en.wikipedia.org/wiki/File:Skinner_box_scheme_01.png) под лицензией CC BY SA 3.0 (http://creativecommons.org/licenses/by-sa/ 3.0 / deed.en)
Рисунок 8.6: По материалам Kassin (2003).
Рисунок 8.7: «Игровые автоматы в казино Hard Rock» Теда Мерпи (http://commons.