в чем состоит смысл метода наименьших квадратов

В чем суть метода наименьших квадратов?

Сущность метода наименьших квадратов заключается в отыскании параметров модели тренда, которая лучше всего описывает тенденцию развития какого-либо случайного явления во времени или в пространстве (тренд – это линия, которая и характеризует тенденцию этого развития).

Задача метода наименьших квадратов (МНК) сводится к нахождению не просто какой-то модели тренда, а к нахождению лучшей или оптимальной модели.

Метод наименьших квадратов

Эта модель будет оптимальной, если сумма квадратических отклонений между наблюдаемыми фактическими величинами и соответствующими им расчетными величинами тренда будет минимальной (наименьшей):

МНК самостоятельно применяется довольно редко. Как правило, чаще всего его используют лишь в качестве необходимого технического приема при корреляционных исследованиях.Следует помнить, что информационной основой МНК может быть только достоверный статистический ряд, причем число наблюдений не должно быть меньше 4-х, иначе, сглаживающие процедуры МНК могут потерять здравый смысл.

Инструментарий МНК сводится к следующим процедурам:

Первая процедура. Выясняется, существует ли вообще какая-либо тенденция изменения результативного признака при изменении выбранного фактора-аргумента, или другими словами, есть ли связь между «у» и «х».

Вторая процедура. Определяется, какая линия (траектория) способна лучше всего описать или охарактеризовать эту тенденцию.

Третья процедура. Рассчитываются параметры регрессионного уравнения, характеризующего данную линию, или другими словами, определяется аналитическая формула, описывающая лучшую модель тренда.

Пример. Допустим, мы имеем информацию о средней урожайности подсолнечника по исследуемому хозяйству (табл. 9.1).

Поскольку уровень технологии при производстве подсолнечника в нашей стране за последние 10 лет практически не изменился, значит, по всей видимости, колебания урожайности в анализируемый период очень сильно зависели от колебания погодно-климатических условий. Действительно ли это так?

Первая процедура МНК. Проверяется гипотеза о существовании тенденции изменения урожайности подсолнечника в зависимости от изменения погодно-климатических условий за анализируемые 10 лет.

В данном примере за «y» целесообразно принять урожайность подсолнечника, а за «x» – номер наблюдаемого года в анализируемом периоде.

Проверку гипотезы о существовании какой-либо взаимосвязи между «x» и «y» можно выполнить двумя способами: вручную и при помощи компьютерных программ. Конечно, при наличии компьютерной техники данная проблема решается сама собой.

Но, чтобы лучше понять инструментарий МНК целесообразно выполнить проверку гипотезы о существовании связи между «x» и «y» вручную, когда под рукой находятся только ручка и обыкновенный калькулятор.

В таких случаях гипотезу о существовании тенденции лучше всего проверить визуальным способом по расположению графического изображения анализируемого ряда динамики — корреляционного поля:

Корреляционное поле в нашем примере расположено вокруг медленно возрастающей линии. Это уже само по себе говорит о существовании определенной тенденции в изменении урожайности подсолнечника.

Нельзя говорить о наличии какой-либо тенденции лишь тогда, когда корреляционное поле похоже на круг, окружность, строго вертикальное или строго горизонтальное облако, или же состоит из хаотично разбросанных точек.

Во всех остальных случаях следует подтвердить гипотезу о существовании взаимосвязи между «x» и «y», и продолжить исследования.

Вторая процедура МНК. Определяется, какая линия (траектория) способна лучше всего описать или охарактеризовать тенденцию изменения урожайности подсолнечника за анализируемый период.

При наличии компьютерной техники подбор оптимального тренда происходит автоматически. При «ручной» обработке выбор оптимальной функции осуществляется, как правило, визуальным способом – по расположению корреляционного поля. То есть, по виду графика подбирается уравнение линии, которая лучше всего подходит к эмпирическому тренду (к фактической траектории).

Как известно, в природе существует огромное разнообразие функциональных зависимостей, поэтому визуальным способом проанализировать даже незначительную их часть — крайне затруднительно.

К счастью, в реальной экономической практике большинство взаимосвязей достаточно точно могут быть описаны или параболой, или гиперболой, или же прямой линией.

В связи с этим, при «ручном» варианте подбора лучшей функции, можно ограничиться только этими тремя моделями.

Прямая:	Гипербола:

Нетрудно заметить, что в нашем примере лучше всего тенденцию изменения урожайности подсолнечника за анализируемые 10 лет характеризует прямая линия, поэтому уравнением регрессии будет уравнение прямой.

Третья процедура. Рассчитываются параметры регрессионного уравнения, характеризующего данную линию, или другими словами, определяется аналитическая формула, описывающая лучшую модель тренда.

В линейном уравнении параметр – коэффициент регрессии указывает, на сколько единиц в среднем изменится с изменением на единицу. Он имеет единицу измерения результативного признака.

В случае прямой связи – величина положительная, а при обратном – отрицательная. Параметр – свободный член уравнения регрессии, то есть это значение при. Если не получает нулевых значений, этот параметр имеет лишь расчетное назначение.

Приведем также системы нормальных уравнений для отыскивания параметров нелинейных уравнений.

Форма связи	Уравнение связи	Система нормальных уравнений
параболическая
гиперболическая

Следует помнить, что при изменении хотя бы одного значения входных данных (пары значенийили одного из них) все коэффициенты изменят в общем случае свои значения, потому что они полностью определяются входными данными. Поэтому при повторной аппроксимации с несколькими измененными данными будет получена другая аппроксимирующая функция с другими коэффициентами.

Источник

Метод наименьших квадратов (МНК) — суть, формула и примеры решения уравнений

Для быстрого и качественного решения различных математических задач активно используется метод наименьших квадратов. Этот подход основан на минимизации суммы отклонений существующих функций от первоначальных переменных. Тему следует рассматривать на примере математической статистики в том случае, когда стоит задача отыскать зависимость между двумя переменными, которые были заданы выборочными данными.

Интересные факты

Ещё до наступления XIX века в распоряжении учёных не было реальных норм для качественного решения системы математических задач, в которых присутствующее число неизвестных гораздо меньше, нежели само число уравнений. Они могли пользоваться исключительно частными приёмами, которые напрямую зависели от разновидности математических уравнений, а также остроумия самых вычислителей. Исходя из наблюдений, учёные приходили к различным выводам. Первым многогранный косвенный метод наименьших математических квадратов использовал Гаусс, а уже в 1805 году талантливый Лежандр смог независимо открыть и опубликовать это математическое направление.

Во время многочисленных испытаний Лаплас смог связать метод с теорией вероятности. Спустя 3 года известный американский математик Эдрейн рассмотрел специфические теоретико-вероятностные приложения, которые впечатляют своей многофункциональностью. В результате инновационный метод получил широкое распространение и был усовершенствован последующими наработками многих преуспевающих учёных.

Целеустремлённость А. Маркова позволила в ХХ веке включить существующий двухшаговый метод в математическую теорию оценивания составляемой статистики. Такой подход является настоящим прорывом в научной среде. Усилия Дэвида, Неймана, Рао и Эйткена позволили открыть много интересных фактов в этой отрасли.

Если в распоряжении имеется компьютерная техника, то подбор наиболее подходящего тренда может осуществляться в автоматическом режиме. В противном случае придётся полагаться исключительно на визуальный способ, когда ученик самостоятельно определяет расположение корреляционного поля и необходимый коэффициент.

По виду графика можно подобрать оптимальное уравнение линии, которая больше всего подходит к фактической траектории. Эта задача не вызывает сложностей только в том случае, если предварительно была хорошо изучена теория.

Более ответственно нужно подходить к изучению модуля максимального правдоподобия (для нормальной классической линейной модели регрессии постулируется нормальность регрессионных остатков).

Краткое описание

Особенностью изучаемого метода является то, что несколько нехитрых действий позволяют отыскать параметры модели тренда, которая лучше всего описывает степень развития какого-либо случайного явления во времени либо пространстве. Стоит отметить, что под трендом принято понимать своеобразную линию, которая в полном объёме характеризует тенденцию развития.

Основной предпосылкой нелинейного метода МНК является нахождение самой лучшей либо оптимальной для конкретной ситуации модели. Желаемого результата можно добиться только в том случае, если сумма квадратических отклонений между изучаемыми фактическими величинами и расчётными данными будет минимальной.

Во время многочисленных экспериментов специалисты разработали универсальную формулу:

Для отображения квадратического отклонения между наблюдаемой фактической величиной и максимально соответствующим объёмом расчётного тренда используется квадратичная формула. Расшифровка символов выглядит следующим образом:

Применимый в математике параболический метод наименьших квадратов и примеры с решениями получили большой спрос среди учеников, стремящихся расширить свои знания в этой отрасли. Чаще всего МНК применяют в качестве оптимального технического приёма, который позволяет отобразить суть корреляционных исследований. В качестве информационной основы может быть представлен исключительно проверенный статистический ряд. Итоговое количество наблюдений не может быть меньше четырёх, в противном случае сглаживающие действия утратят смысл.

Классический инструментарий МНК можно свести к трем процедурам:

Для решения сложных задач следует более подробно изучить эту тему.

Преимущества и недостатки онлайн-калькулятора

Для решения поставленных задач в экономике специалисты используют аппроксимацию методом наименьших квадратов, так как в этом случае можно не только получить правильный результат, но и избежать грубых ошибок. К основным положительным характеристикам онлайн-калькулятора для выполнения регрессионного анализа можно отнести следующие факты:

Использование онлайн-калькулятора для решения различных математических задач имеет много положительных характеристик.

Но не стоит забывать и о негативных параметрах:

Стоит отметить, что именно линиями тренда можно эффектно дополнить ряды информации, которая присутствует в диаграммах из категории гистограмма, график, а также плоских ненормированных диаграммах с областями.

Статистические свойства

Для изучения этой темы нужно понимать, что для классических линейных моделей МНК используются линейные оценки. Для достижения оптимальных результатов необходимо выполнить основное условие задействованного анализа регрессионного типа. Экспертами было доказано, что по всем фактам математическое ожидание предполагаемой ошибки обязательно должно быть приравнено к нулю. Но это условие будет выполнено только в двух случаях: когда все факторы и случайные ошибки будут представлять собой совершенно независимые случайные величины, а математическое ожидание предполагаемых ошибок будет соответствовать нулю.

Для примеров с константой второе условие практически всегда является выполнимым. Это связано с тем, что именно константа принимает на себя нулевое математическое ожидание. А вот первое условие касается экзогенности факторов. Если базовые требования не были выполнены, тогда можно с уверенностью считать, что практически все оценки не будут соответствовать запросам. Даже самый большой объём информации не позволит получить необходимый результат. В традиционном случае осуществляется более сильное предположение о детерминированности факторов, что в автоматическом режиме означает выполнение условий экзогенности.

Чтобы помимо несмещенности и состоятельности оценки МНК были ещё и эффективными, нужно соблюсти некоторые вспомогательные свойства случайной ошибки:

Все перечисленные предположения можно сформулировать по отношению к ковариационной матрице вектора возникающих случайных ошибок.

Если первоначальные предположения не были своевременно выполнены, то оценки МНК не могут учитываться как самые результативные данные. Но существенным изменениям подвержена первоначальная характеристика ковариационной матрицы, так как она может становиться как смещённой, так и несостоятельной. Подведение статистических выводов о качестве построенной модели могут быть ошибочными, что тоже нужно учитывать. В противном случае может успешно применяться обобщённый МНК, который предназначен для более сложных ситуаций.

Элементарная графическая иллюстрация

Это направление используется в математике для того, чтобы ученики могли наглядно увидеть способ применения МНК. Для наглядности можно привести следующий пример: на представленной схеме изображена красная линия, которая является найденной прямой у=0,165х + 2,184. А вот синей линии отвечает формула. Исходные данные могут состоять из многочисленных розовых точек.

Если учесть все наработки специалистов, то можно сделать вывод, что во время моделирования экономических, технических, физических и социальных процессов используются универсальные способы вычисления максимально приближённых значений функций по известным данным в некоторых фиксированных точках.

Необходимость решать уравнения с приближением функций возникает в следующих случаях:

Если ученик попробует построить производную функцию для моделируемого процесса, который был задан таблицей, максимально описывающую этот процесс на основании универсального МНК, то в итоге она получит название аппроксимирующей функции. Эта тема особенно актуальна для изучения всех возможностей пакета MS Excel, так как с его помощью можно гораздо быстрее решать сложные математические задачи. На этот случай предусмотрено две интересные опции.

Во-первых, это применение встроенных статистических функций рабочего листа Excel. Благодаря этой опции, можно получить линии тренда непосредственно на основании таблицы исходных данных.

А во-вторых, элементарное добавление выбранных регрессий в диаграмму, которая была построена на основе обычной таблицы данных для исследуемой в определённый период характеристики процесса. Но эта опция становится доступной только тогда, когда если есть построенная диаграмма. Более подробно эта тема описывается в научной литературе.

Источник

Метод наименьших квадратов.

Поможем написать любую работу на аналогичную тему

Сущность метода наименьших квадратов заключается в отыскании параметров модели тренда, которая лучше всего описывает тенденцию развития какого-либо случайного явления во времени или в пространстве (тренд – это линия, которая и характеризует тенденцию этого развития). Задача метода наименьших квадратов (МНК) сводится к нахождению не просто какой-то модели тренда, а к нахождению лучшей или оптимальной модели. Эта модель будет оптимальной, если сумма квадратических отклонений между наблюдаемыми фактическими величинами и соответствующими им расчетными величинами тренда будет минимальной (наименьшей):

(9.1)

где — квадратичное отклонение между наблюдаемой фактической величиной

и соответствующей ей расчетной величиной тренда,

— фактическое (наблюдаемое) значение изучаемого явления,

— расчетное значение модели тренда,

— число наблюдений за изучаемым явлением.

МНК самостоятельно применяется довольно редко. Как правило, чаще всего его используют лишь в качестве необходимого технического приема при корреляционных исследованиях. Следует помнить, что информационной основой МНК может быть только достоверный статистический ряд, причем число наблюдений не должно быть меньше 4-х, иначе, сглаживающие процедуры МНК могут потерять здравый смысл.

Инструментарий МНК сводится к следующим процедурам:

Первая процедура. Выясняется, существует ли вообще какая-либо тенденция изменения результативного признака при изменении выбранного фактора-аргумента, или другими словами, есть ли связь между «у» и «х».

Вторая процедура. Определяется, какая линия (траектория) способна лучше всего описать или охарактеризовать эту тенденцию.

Третья процедура. Рассчитываются параметры регрессионного уравнения, характеризующего данную линию, или другими словами, определяется аналитическая формула, описывающая лучшую модель тренда.

Пример. Допустим, мы имеем информацию о средней урожайности подсолнечника по исследуемому хозяйству (табл. 9.1).

Поскольку уровень технологии при производстве подсолнечника в нашей стране за последние 10 лет практически не изменился, значит, по всей видимости, колебания урожайности в анализируемый период очень сильно зависели от колебания погодно-климатических условий. Действительно ли это так?

Первая процедура МНК. Проверяется гипотеза о существовании тенденции изменения урожайности подсолнечника в зависимости от изменения погодно-климатических условий за анализируемые 10 лет.

Корреляционное поле в нашем примере расположено вокруг медленно возрастающей линии. Это уже само по себе говорит о существовании определенной тенденции в изменении урожайности подсолнечника. Нельзя говорить о наличии какой-либо тенденции лишь тогда, когда корреляционное поле похоже на круг, окружность, строго вертикальное или строго горизонтальное облако, или же состоит из хаотично разбросанных точек. Во всех остальных случаях следует подтвердить гипотезу о существовании взаимосвязи между «x» и «y», и продолжить исследования.

Вторая процедура МНК. Определяется, какая линия (траектория) способна лучше всего описать или охарактеризовать тенденцию изменения урожайности подсолнечника за анализируемый период.

При наличии компьютерной техники подбор оптимального тренда происходит автоматически. При «ручной» обработке выбор оптимальной функции осуществляется, как правило, визуальным способом – по расположению корреляционного поля. То есть, по виду графика подбирается уравнение линии, которая лучше всего подходит к эмпирическому тренду (к фактической траектории).

Прямая:

Гипербола:

Парабола второго порядка: :

Нетрудно заметить, что в нашем примере лучше всего тенденцию изменения урожайности подсолнечника за анализируемые 10 лет характеризует прямая линия, поэтому уравнением регрессии будет уравнение прямой.

Третья процедура. Рассчитываются параметры регрессионного уравнения, характеризующего данную линию, или другими словами, определяется аналитическая формула, описывающая лучшую модель тренда.

Нахождение значений параметров уравнения регрессии, в нашем случае параметров и , является сердцевиной МНК. Данный процесс сводится к решению системы нормальных уравнений.

(9.2)

Эта система уравнений довольно легко решается методом Гаусса. Напомним, что в результате решения, в нашем примере, находятся значения параметров и . Таким образом, найденное уравнение регрессии будет иметь следующий вид:

В линейном уравнении параметр – коэффициент регрессии указывает, на сколько единиц в среднем изменится с изменением на единицу. Он имеет единицу измерения результативного признака. В случае прямой связи – величина положительная, а при обратном – отрицательная. Параметр – свободный член уравнения регрессии, то есть это значениепри . Если не получает нулевых значений, этот параметр имеет лишь расчетное назначение.

Приведем также системы нормальных уравнений для отыскивания параметров нелинейных уравнений.

Источник