Artigos

6.3: Método de Newton - Matemática


Suponha que você tenha uma função (f (x) ) e deseja encontrar o mais precisamente possível onde ela cruza o eixo (x ); em outras palavras, você deseja resolver (f (x) = 0 ). Suponha que você não conheça uma maneira de encontrar uma solução exata por meio de qualquer procedimento algébrico, mas seja capaz de usar uma aproximação, desde que possa ser bem próxima do valor verdadeiro. O método de Newton é uma maneira de encontrar uma solução para a equação com quantas casas decimais você quiser. É o que se chama de "procedimento iterativo", o que significa que pode ser repetido várias vezes para obter uma resposta cada vez mais precisa. Procedimentos iterativos como o método de Newton são adequados para a programação de um computador. O método de Newton usa o fato que a linha tangente a uma curva é uma boa aproximação da curva próxima ao ponto de tangência.

Exemplo ( PageIndex {1} )

Aproximado ( sqrt {3} ).

Solução

Como ( sqrt {3} ) é uma solução para (x ^ 2 = 3 ) ou (x ^ 2-3 = 0 ), usamos (f (x) = x ^ 2-3 ). Começamos adivinhando algo razoavelmente próximo do valor verdadeiro; isso geralmente é fácil de fazer; vamos usar ( sqrt3 approx2 ). Agora use a linha tangente à curva quando (x = 2 ) como uma aproximação da curva, conforme mostrado na Figura ( PageIndex {1} ).

Figura ( PageIndex {1} ): Método de Netwon

Como (f '(x) = 2x ), a inclinação desta reta tangente é 4 e sua equação é (y = 4x-7 ). A linha tangente está bem próxima de (f (x) ), então ela cruza o eixo (x ) perto do ponto em que (f (x) ) cruza, ou seja, perto de ( sqrt3 ). É fácil encontrar onde a linha tangente cruza o eixo (x ) -: solve (0 = 4x-7 ) para obter (x = 7/4 = 1,75 ). Esta é certamente uma aproximação melhor do que 2, mas digamos que não seja próxima o suficiente. Podemos melhorá-lo fazendo a mesma coisa novamente: encontre a reta tangente em (x = 1,75 ), descubra onde essa nova reta tangente cruza o eixo (x ) e use esse valor como uma melhor aproximação. Podemos continuar indefinidamente, embora seja um pouco enfadonho. Vamos ver se podemos encurtar o processo. Suponha que a melhor aproximação da interceptação que temos até agora seja (x_i ). Para encontrar uma aproximação melhor, sempre faremos a mesma coisa: encontre a inclinação da reta tangente em (x_i ), encontre a equação da reta tangente, encontre a interceptação (x ). A inclinação é (2x_i ). A linha tangente é

[y = (2x_i) (x-x_i) + (x_i ^ 2-3), ]

usando o fórmula ponto-inclinação para uma linha. Finalmente, a interceptação é encontrada resolvendo

[0 = (2x_i) (x-x_i) + (x_i ^ 2-3). label {EX1b} ]

Com um pouco de álgebra, a Equação ref {EX1b} se transforma em

[x = dfrac {x_i ^ 2 + 3} {2x_i} ]

esta é a próxima aproximação, que naturalmente chamamos de (x_ {i + 1} ). Em vez de fazer todo o cálculo da linha tangente toda vez, podemos simplesmente usar esta fórmula para obter quantas aproximações quisermos.

Começando com (x_0 = 2 ), obtemos

[x_1 = dfrac {x_0 ^ 2 + 3} {2x_0} = dfrac {2 ^ 2 + 3} {4} = dfrac {7} {4} ]

(a mesma aproximação que obtivemos acima, é claro),

[x_2 = dfrac {x_1 ^ 2 + 3} {2x_1} = dfrac {(7/4) ^ 2 + 3} {(7/2)} = dfrac {97} {56} aproximadamente 1,73214, ]

e

[x_3 aprox. 1,73205, ]

e assim por diante. Isso ainda é um pouco tedioso à mão, mas com uma calculadora ou, melhor ainda, um bom programa de computador, é muito fácil obter muitas, muitas aproximações. Já podemos supor que (1.73205 ) tem precisão de duas casas decimais e, de fato, verifica-se que tem precisão de 5 casas.

Vamos pensar sobre esse processo em termos mais gerais. Queremos aproximar uma solução para (f (x) = 0 ). Começamos com uma estimativa aproximada, que chamamos de (x_0 ). Usamos a linha tangente a (f (x) ) para obter uma nova aproximação que esperamos esteja mais próxima do valor verdadeiro. Qual é a equação da reta tangente quando (x = x_0 )? A inclinação é (f '(x_0) ) e a linha passa por ((x_0, f (x_0)) ), então a equação da linha é

[y = f '(x_0) (x-x_0) + f (x_0). ]

Agora descobrimos onde isso cruza o eixo (x ) substituindo (y = 0 ) e resolvendo por (x ): $$ x = {x_0f '(x_0) -f (x_0) sobre f '(x_0)} = x_0 - {f (x_0) over f' (x_0)}. $$ Normalmente, queremos calcular mais de uma dessas aproximações melhoradas, então as numeramos consecutivamente; de (x_0 ) calculamos (x_1 ):

[x_1 = {x_0f '(x_0) -f (x_0) sobre f' (x_0)} = x_0 - {f (x_0) sobre f '(x_0)}, ]

e em geral a partir de (x_i ) calculamos (x_ {i + 1} ):

[x_ {i + 1} = {x_if '(x_i) -f (x_i) sobre f' (x_i)} = x_i - {f (x_i) sobre f '(x_i)}. ]

( PageIndex {2} )

Voltando ao Exemplo ( PageIndex {1} ), (f (x) = x ^ 2-3 ), (f '(x) = 2x ), e a fórmula torna-se

[x_ {i + 1} = x_i - dfrac {x_i ^ 2-3} {2x_i} = dfrac {x_i ^ 2 + 3} {2x_i} ]

como antes.

Na prática, ou seja, se você precisar aproximar um valor durante o projeto de uma ponte, edifício ou fuselagem, precisará ter alguma confiança de que a aproximação estabelecida é precisa o suficiente. Como regra geral, uma vez que um certo número de casas decimais pare de mudar de uma aproximação para a próxima, é provável que essas casas decimais estejam corretas. Ainda assim, isso pode não ser garantia suficiente, caso em que podemos testar a precisão do resultado.

( PageIndex {3} )

Encontre a coordenada (x ) da interseção das curvas (y = 2x ) e (y = tan x ), com precisão de três casas decimais.

Solução

Para colocar isso no contexto do método de Newton, notamos que queremos saber onde (2x = tan x ) ou (f (x) = tan x-2x = 0 ). Calculamos (f '(x) = sec ^ 2 x - 2 ) e configuramos a fórmula:

[x_ {i + 1} = x_i - { tan x_i -2x_i over sec ^ 2 x_i - 2}. ]

Figura ( PageIndex {2} ). (y = tan x ) e (y = 2x ) à esquerda, (y = tan x -2x )

A partir do gráfico da Figura ( PageIndex {2} ), achamos (x_0 = 1 ) como ponto de partida e, em seguida, usando a fórmula que calculamos

  • (x_1 = 1,310478030 ),
  • (x_2 = 1.223929096 ),
  • (x_3 = 1,176050900 ),
  • (x_4 = 1,165926508 ),
  • (x_5 = 1,165561636 ).

Portanto, supomos que as três primeiras casas estão corretas, mas isso não é o mesmo que dizer que (1.165 ) está correto para três casas decimais --- (1.166 ) pode ser a aproximação arredondada correta. Como podemos saber? Podemos substituir 1.165, 1.1655 e 1.166 em ( tan x - 2x ); isto dá -0,002483652, -0.000271247, 0,001948654. Como os dois primeiros são negativos e o terceiro é positivo, ( tan x - 2x ) cruza o eixo (x ) entre 1,1655 e 1,166, então o valor correto para três casas é 1,166.

Contribuidores

    • Integrado por Justin Marshall.


6.3: Método de Newton - Matemática

3. Use o Método de Newton para encontrar a raiz de ( - 5 + 9x + 3 = 0 ) com precisão de seis casas decimais no intervalo ( left [<4,6> right] ).

Mostrar todas as etapas Ocultar todas as etapas

Primeiro, lembre-se de que o Método de Newton resolve a equação na forma (f left (x right) = 0 ) e, portanto, é (espero) bastante claro que temos,

Em seguida, não temos um valor inicial, (> ), mas nos foi dado um intervalo no qual a raiz existe, então podemos também usar o ponto médio deste intervalo como nosso ponto de partida ou, (> = 5 ). Observe que este não é o único valor que poderíamos usar e se você usar um diferente (o que é perfeitamente aceitável), seus valores serão diferentes daqueles aqui.

Neste ponto, tudo o que precisamos fazer é percorrer o Método de Newton,

até que as respostas coincidam com seis casas decimais.

A primeira iteração por meio da fórmula para (> ) é,

A segunda iteração por meio da fórmula para (> ) é,

Precisamos continuar porque mesmo a primeira casa decimal ainda não está correta.

A terceira iteração por meio da fórmula para (> ) é,

Neste ponto, estamos precisos até a primeira casa decimal, portanto, precisamos continuar.

A quarta iteração por meio da fórmula para (> ) é,

Neste ponto, temos uma precisão de 4 casas decimais, portanto, precisamos continuar.

A quinta iteração por meio da fórmula para (> ) é,

Neste ponto, temos uma precisão de 8 casas decimais, o que é realmente melhor do que pedimos e, portanto, podemos parar oficialmente e estimar que a raiz no intervalo é,

Usando ajuda computacional, descobrimos que a raiz real neste intervalo é 4,52891795729. Observe que isso não foi realmente solicitado no problema e é fornecido apenas para fins de comparação.


Problemas resolvidos

Clique ou toque em um problema para ver a solução.

Exemplo 1

Exemplo 2

Exemplo 3

Exemplo 4

Exemplo 5

Exemplo 6

Exemplo 7

Exemplo 8

Exemplo 9

Exemplo 10

Exemplo 1.

Aplicamos o método de Newton & # 8217s à função (f left (x right) = & # 8211 2 ) assumindo (x ge 0 ) e execute várias iterações sucessivas usando a fórmula

Deixar ( = 1. ) Isso produz os seguintes resultados:

Vemos que a (4 ) th iteração dá a aproximação para (6 ) casas decimais, então a resposta é ( = 1.259921)

Exemplo 2.

Aplicamos o método de Newton & # 8217s à função

As iterações são dadas pela fórmula

A primeira aproximação é igual a

Continue o processo para obter as seguintes aproximações:

Portanto, são necessárias (3 ) iterações para obter o valor aproximado de ( sqrt 5 ) para (8 ) casas decimais (nada mal!)

Exemplo 3.

Aplicamos a fórmula recorrente dada pelo método de Newton & # 8217s:

As próximas aproximações são dadas por

Assim, fomos capazes de obter a solução aproximada com uma precisão de (7 ) casas decimais após (4 ) iterações. É igual a

Exemplo 4.

Para encontrar um valor aproximado de ( ln 2, ), usamos a fórmula recorrente

Começando de ( = 1, ) obtemos os seguintes valores aproximados sucessivos para ( ln 2: )

Os próximos cálculos produzem

Pode-se ver que obtivemos a aproximação de (5 ) casas decimais no (3 ) o passo. Então a resposta é

Exemplo 5.

A fórmula iterativa para o método de Newton & # 8217s é fornecida como

A primeira iteração é igual a

Em seguida, realizamos mais duas iterações:

Após (3 ) iterações, obtivemos a solução aproximada com uma precisão de (5 ) casas decimais.

Exemplo 6.

e aplique o método de Newton & # 8217s para encontrar o zero da função.

Encontre a derivada pela regra do produto:

Calcule a primeira aproximação:

Continue o processo iterativo até atingir uma precisão de (4 ) casas decimais.

Como você pode ver, obtivemos a precisão necessária após apenas (2 ) etapas.

Exemplo 7.

Nós escolhemos ( = & # 8211 1 ) e calcule a primeira aproximação:

Continue o processo até obter o resultado com a precisão necessária.

Vemos que já obtivemos um resultado estável para (3 ) casas decimais, então a solução aproximada é (x approx & # 8211 0,567 )

Exemplo 8.

Primeiro, reescrevemos esta equação na forma

Suponha que o valor inicial da raiz seja ( = 1. ) Vamos & # 8217s obter a primeira aproximação usando o método de Newton & # 8217s:

Aqui e mais adiante, escrevemos valores aproximados com 6 casas decimais para rastrear a convergência do resultado.

A terceira aproximação fornece o seguinte valor da raiz:

A (4 ) ª iteração preserva as primeiras (6 ) casas decimais. Isso significa que a precisão necessária de (5 ) casas decimais foi alcançada na (3 ) a etapa, então a resposta é

Exemplo 9.

Aplicamos o método de Newton & # 8217s com a estimativa inicial ( = 0.5)

[f left (x right) = sin left (<> direita) & # 8211 1. ]

A derivada é escrita como

[f ^ prime left (x right) = cos left (<> certo). ]

Então, a primeira aproximação é dada por

Continue o processo de iteração até obter uma precisão de (3 ) casas decimais.

Como você pode ver, o processo converge lentamente o suficiente, então foram necessários (10 ​​) passos para obter um resultado estável com (4 ) casas decimais.

A resposta é (x aproximadamente 0,4516 )

Exemplo 10.

Observe que (f left (1 right) = & # 8211 1, ) (f left (2 right) = 13, ) então escolhemos ( = 1 ) como a estimativa inicial.

Usando a relação recorrente

calculamos várias aproximações sucessivas:

Você pode ver que temos a solução com precisão de até (4 ) casas decimais no (4 ) º passo. Portanto, podemos escrever a resposta como ( = 1.2207)


Conteúdo

Um problema de otimização pode ser representado da seguinte maneira:

Dado: uma função f : UMA → ℝ de algum conjunto A para os números reais Buscou: um elemento x0UMA de tal modo que f(x0) ≤ f(x) para todos xUMA ("minimização") ou de forma que f(x0) ≥ f(x) para todos xUMA ("maximização").

Essa formulação é chamada de problema de otimização ou um problema de programação matemática (um termo não diretamente relacionado à programação de computadores, mas ainda em uso, por exemplo, na programação linear - veja a História abaixo). Muitos problemas do mundo real e teóricos podem ser modelados nesta estrutura geral.

Uma vez que o seguinte é válido

é mais conveniente resolver problemas de minimização. No entanto, a perspectiva oposta também seria válida.

Problemas formulados usando esta técnica nos campos da física podem se referir à técnica como minimização de energia, falando do valor da função f como representando a energia do sistema que está sendo modelado. No aprendizado de máquina, é sempre necessário avaliar continuamente a qualidade de um modelo de dados usando uma função de custo onde um mínimo implica um conjunto de parâmetros possivelmente ótimos com um erro ótimo (mais baixo).

Normalmente, A é algum subconjunto do espaço euclidiano ℝ n , geralmente especificado por um conjunto de restrições, igualdades ou desigualdades que os membros de A devem satisfazer. O domínio A de f é chamado de espaço de busca ou o conjunto de escolha, enquanto os elementos de A são chamados soluções candidatas ou soluções viáveis.

A função f é chamada, de várias maneiras, um função objetiva, uma função de perda ou função de custo (minimização), [3] a função útil ou função de fitness (maximização), ou, em certos campos, um função de energia ou energia funcional. Uma solução viável que minimiza (ou maximiza, se esse for o objetivo) a função objetivo é chamada de solução ótima.

Em matemática, os problemas convencionais de otimização são geralmente apresentados em termos de minimização.

UMA mínimo local x* é definido como um elemento para o qual existe algum δ & gt 0 tal que

a expressão f(x*) ≤ f(x) detém

ou seja, em alguma região ao redor x* todos os valores da função são maiores ou iguais ao valor naquele elemento. Máximos locais são definidos de forma semelhante.

Enquanto um mínimo local é pelo menos tão bom quanto qualquer elemento próximo, um mínimo global é pelo menos tão bom quanto todos os elementos possíveis. Geralmente, a menos que a função objetivo seja convexa em um problema de minimização, pode haver vários mínimos locais. Em um problema convexo, se houver um mínimo local que é interior (não na borda do conjunto de elementos viáveis), ele também é o mínimo global, mas um problema não convexo pode ter mais de um mínimo local, nem todos os quais precisam ser mínimos globais.

Um grande número de algoritmos propostos para resolver os problemas não convexos - incluindo a maioria dos solucionadores disponíveis comercialmente - não são capazes de fazer uma distinção entre soluções localmente ótimas e soluções globalmente ótimas, e tratarão as primeiras como soluções reais para o problema original. A otimização global é o ramo da matemática aplicada e da análise numérica que se preocupa com o desenvolvimento de algoritmos determinísticos capazes de garantir a convergência em tempo finito para a solução ótima real de um problema não convexo.

Os problemas de otimização são freqüentemente expressos com notação especial. aqui estão alguns exemplos:

Valor mínimo e máximo de uma função Editar

Considere a seguinte notação:

Isso denota o valor mínimo da função objetivo x 2 + 1, ao escolher x do conjunto de números reais ℝ. O valor mínimo neste caso é 1, ocorrendo em x = 0.

pede o valor máximo da função objetivo 2x , onde x pode ser qualquer número real. Nesse caso, não existe um máximo, pois a função objetivo é ilimitada, então a resposta é "infinito" ou "indefinido".

Argumentos de entrada ideais Editar

Considere a seguinte notação:

Isso representa o valor (ou valores) do argumento x no intervalo (−∞, −1] que minimiza (ou minimiza) a função objetivo x 2 + 1 (o valor mínimo real dessa função não é o que o problema pede). Neste caso, a resposta é x = -1, uma vez que x = 0 é inviável, ou seja, não pertence ao conjunto viável.

representa o <x, y> par (ou pares) que maximiza (ou maximiza) o valor da função objetivo x cos y , com a restrição adicionada de que x está no intervalo [−5,5] (novamente, o valor máximo real da expressão não importa). Neste caso, as soluções são os pares da forma <5, 2k π> e <−5, (2k + 1) π>, onde k varia sobre todos os inteiros.

Os operadores arg min e arg max às vezes também são escritos como argmin e argmax, e representam argumento do mínimo e argumento do máximo.

Fermat e Lagrange encontraram fórmulas baseadas em cálculo para identificar ótimos, enquanto Newton e Gauss propuseram métodos iterativos para se mover em direção a um ótimo.

O termo "programação linear" para certos casos de otimização foi devido a George B. Dantzig, embora grande parte da teoria tenha sido introduzida por Leonid Kantorovich em 1939. (Programação neste contexto não se refere à programação de computadores, mas vem do uso de programa pelos militares dos Estados Unidos para se referir a programações de treinamento e logística propostas, que eram os problemas estudados por Dantzig naquela época.) Dantzig publicou o algoritmo Simplex em 1947, e John von Neumann desenvolveu a teoria da dualidade no mesmo ano. [ citação necessária ]

Outros pesquisadores notáveis ​​em otimização matemática incluem o seguinte:

    estuda o caso quando a função objetivo é convexa (minimização) ou côncava (maximização) e o conjunto de restrições é convexo. Isso pode ser visto como um caso particular de programação não linear ou como generalização da programação quadrática linear ou convexa.
      (LP), um tipo de programação convexa, estuda o caso em que a função objetivo f é linear e as restrições são especificadas usando apenas igualdades e desigualdades lineares. Esse conjunto de restrições é denominado poliedro ou politopo, se for limitado. (SOCP) é um programa convexo e inclui certos tipos de programas quadráticos. (SDP) é um subcampo de otimização convexa onde as variáveis ​​subjacentes são matrizes semidefinidas. É uma generalização da programação quadrática linear e convexa. é uma forma geral de programação convexa. LP, SOCP e SDP podem ser vistos como programas cônicos com o tipo apropriado de cone. é uma técnica pela qual as restrições objetivas e de desigualdade expressas como posinômios e as restrições de igualdade como monômios podem ser transformadas em um programa convexo.
      é um paradigma de programação em que as relações entre as variáveis ​​são declaradas na forma de restrições.

    Em uma série de subcampos, as técnicas são projetadas principalmente para otimização em contextos dinâmicos (ou seja, tomada de decisão ao longo do tempo):

      busca otimizar uma ação integral em algum espaço até um extremo, variando uma função das coordenadas. a teoria é uma generalização do cálculo de variações que introduz políticas de controle. é a abordagem para resolver o problema de otimização estocástica com parâmetros de modelo estocásticos, aleatórios e desconhecidos. Estuda o caso em que a estratégia de otimização se baseia na divisão do problema em subproblemas menores. A equação que descreve a relação entre esses subproblemas é chamada de equação de Bellman. é onde as restrições incluem desigualdades variacionais ou complementaridades.

    Edição de otimização multi-objetivo

    Adicionar mais de um objetivo a um problema de otimização aumenta a complexidade. Por exemplo, para otimizar um projeto estrutural, seria desejável um projeto que fosse leve e rígido. Quando dois objetivos entram em conflito, uma compensação deve ser criada. Pode haver um design mais leve, um design mais rígido e um número infinito de designs que comprometem o peso e a rigidez. O conjunto de designs de compensação que aprimoram um critério em detrimento de outro é conhecido como conjunto de Pareto. A curva criada plotando peso em relação à rigidez dos melhores projetos é conhecida como fronteira de Pareto.

    Um projeto é considerado "Pareto ótimo" (equivalentemente, "Pareto eficiente" ou no conjunto de Pareto) se não for dominado por qualquer outro projeto: Se for pior do que outro projeto em alguns aspectos e não melhor em nenhum aspecto, então é dominado e não é o ideal de Pareto.

    A escolha entre as soluções "ótimas de Pareto" para determinar a "solução favorita" é delegada ao tomador de decisão. Em outras palavras, definir o problema como otimização multiobjetivo sinaliza que alguma informação está faltando: objetivos desejáveis ​​são dados, mas combinações deles não são avaliadas em relação umas às outras. Em alguns casos, as informações ausentes podem ser obtidas por sessões interativas com o tomador de decisão.

    Problemas de otimização multiobjetivo foram generalizados em problemas de otimização vetorial, onde a ordenação (parcial) não é mais dada pela ordenação de Pareto.

    Edição de otimização multimodal ou global

    Os problemas de otimização costumam ser multimodais, ou seja, possuem várias soluções boas. Eles podem ser globalmente bons (mesmo valor de função de custo) ou pode haver uma mistura de soluções globalmente boas e localmente boas. Obter todas (ou pelo menos algumas delas) as soluções múltiplas é o objetivo de um otimizador multimodal.

    As técnicas clássicas de otimização devido à sua abordagem iterativa não funcionam satisfatoriamente quando são utilizadas para obter soluções múltiplas, uma vez que não é garantido que soluções diferentes serão obtidas mesmo com pontos de partida diferentes em execuções múltiplas do algoritmo.

    Abordagens comuns para problemas de otimização global, onde múltiplos extremos locais podem estar presentes incluem algoritmos evolutivos, otimização Bayesiana e recozimento simulado.

    Problema de viabilidade Editar

    O problema de satisfatibilidade, também chamado de problema de viabilidade, é apenas o problema de encontrar qualquer solução viável, sem levar em conta o valor objetivo. Isso pode ser considerado como o caso especial de otimização matemática em que o valor objetivo é o mesmo para todas as soluções e, portanto, qualquer solução é ótima.

    Muitos algoritmos de otimização precisam começar de um ponto viável. Uma maneira de obter tal ponto é relaxar as condições de viabilidade usando uma variável de folga com folga suficiente, qualquer ponto de partida é viável. Em seguida, minimize essa variável de folga até que a folga seja nula ou negativa.

    Edição de existência

    O teorema do valor extremo de Karl Weierstrass afirma que uma função contínua de valor real em um conjunto compacto atinge seu valor máximo e mínimo. Mais geralmente, uma função semicontínua inferior em um conjunto compacto atinge seu mínimo e uma função semicontínua superior em um conjunto compacto atinge seu ponto ou visão máxima.

    Condições necessárias para otimização Editar

    Um dos teoremas de Fermat afirma que os ótimos de problemas irrestritos são encontrados em pontos estacionários, onde a primeira derivada ou o gradiente da função objetivo é zero (consulte o teste da primeira derivada). Mais geralmente, eles podem ser encontrados em pontos críticos, onde a primeira derivada ou gradiente da função objetivo é zero ou é indefinida, ou no limite do conjunto de escolha. Uma equação (ou conjunto de equações) afirmando que a (s) primeira (s) derivada (s) igual (is) a zero em um ótimo interior é chamada de 'condição de primeira ordem' ou um conjunto de condições de primeira ordem.

    Ótimos de problemas com restrições de igualdade podem ser encontrados pelo método do multiplicador de Lagrange. O ótimo de problemas com restrições de igualdade e / ou desigualdade pode ser encontrado usando as 'condições de Karush-Kuhn-Tucker'.

    Condições suficientes para otimização Editar

    Enquanto o primeiro teste de derivada identifica pontos que podem ser extremos, este teste não distingue um ponto que é mínimo de um que é máximo ou que não é nenhum dos dois. Quando a função objetivo é duas vezes diferenciável, esses casos podem ser distinguidos verificando a segunda derivada ou a matriz das segundas derivadas (chamada de matriz Hessiana) em problemas irrestritos, ou a matriz das segundas derivadas da função objetivo e as restrições chamadas de fronteira Hessian em problemas restritos. As condições que distinguem máximos, ou mínimos, de outros pontos estacionários são chamadas de 'condições de segunda ordem' (consulte 'Teste de segunda derivada'). Se uma solução candidata satisfaz as condições de primeira ordem, então a satisfação das condições de segunda ordem também é suficiente para estabelecer pelo menos a otimização local.

    Sensibilidade e continuidade de ótima edição

    O teorema do envelope descreve como o valor de uma solução ótima muda quando um parâmetro subjacente muda. O processo de calcular essa mudança é chamado de estática comparativa.

    O teorema do máximo de Claude Berge (1963) descreve a continuidade de uma solução ótima em função dos parâmetros subjacentes.

    Cálculo de otimização Editar

    Para problemas irrestritos com funções diferenciáveis ​​duas vezes, alguns pontos críticos podem ser encontrados encontrando os pontos onde o gradiente da função objetivo é zero (ou seja, os pontos estacionários). Mais geralmente, um subgradiente zero certifica que um mínimo local foi encontrado para problemas de minimização com funções convexas e outras funções de Lipschitz localmente.

    Além disso, os pontos críticos podem ser classificados usando a definição da matriz Hessiana: Se a Hessiana é positivo definido em um ponto crítico, então o ponto é um mínimo local se a matriz Hessiana for definida negativa, então o ponto é um máximo local finalmente, se indefinido, então o ponto é algum tipo de ponto de sela.

    Problemas restritos podem frequentemente ser transformados em problemas irrestritos com a ajuda de multiplicadores de Lagrange. O relaxamento Lagrangiano também pode fornecer soluções aproximadas para problemas restritos difíceis.

    Quando a função objetivo é uma função convexa, qualquer mínimo local também será um mínimo global. Existem técnicas numéricas eficientes para minimizar funções convexas, como métodos de pontos interiores.

    Para resolver problemas, os pesquisadores podem usar algoritmos que terminam em um número finito de etapas ou métodos iterativos que convergem para uma solução (em alguma classe especificada de problemas) ou heurísticas que podem fornecer soluções aproximadas para alguns problemas (embora suas iterações não precisem convergir).

    Editar algoritmos de otimização

      de George Dantzig, projetado para programação linear
    • Extensões do algoritmo simplex, projetado para programação quadrática e para programação linear fracionária
    • Variantes do algoritmo simplex que são especialmente adequadas para otimização de rede.

    Métodos iterativos Editar

    Os métodos iterativos usados ​​para resolver problemas de programação não linear diferem conforme avaliam Hessianos, gradientes ou apenas valores de função. Embora a avaliação de Hessianos (H) e gradientes (G) melhore a taxa de convergência, para funções para as quais essas quantidades existem e variam suficientemente, tais avaliações aumentam a complexidade computacional (ou custo computacional) de cada iteração. Em alguns casos, a complexidade computacional pode ser excessivamente alta.

    Um dos principais critérios para otimizadores é apenas o número de avaliações de função necessárias, pois isso geralmente já é um grande esforço computacional, geralmente muito mais esforço do que dentro do próprio otimizador, que deve operar principalmente sobre as N variáveis. Os derivados fornecem informações detalhadas para tais otimizadores, mas são ainda mais difíceis de calcular, e. aproximar o gradiente leva pelo menos N + 1 avaliações de função. Para aproximações das 2ª derivadas (coletadas na matriz Hessiana), o número de avaliações da função é da ordem de N². O método de Newton requer as derivadas de 2ª ordem, portanto, para cada iteração, o número de chamadas de função é da ordem de N², mas para um otimizador de gradiente puro mais simples é apenas N. No entanto, os otimizadores de gradiente geralmente precisam de mais iterações do que o algoritmo de Newton. Qual é o melhor em relação ao número de chamadas de função depende do problema em si.

    • Métodos que avaliam Hessianos (ou Hessianos aproximados, usando diferenças finitas):: Um método baseado em Newton para escala pequena e média constrangido problemas. Algumas versões podem lidar com problemas dimensionais grandes. : Esta é uma grande classe de métodos para otimização restrita. Alguns métodos de ponto interior usam apenas informações de (sub) gradiente e outros requerem a avaliação de Hessianos.
      métodos: Algoritmos que atualizam uma única coordenada em cada iteração: Métodos iterativos para grandes problemas. (Em teoria, esses métodos terminam em um número finito de etapas com funções objetivo quadráticas, mas essa terminação finita não é observada na prática em computadores de precisão finita.) (Alternativamente, "descida mais íngreme" ou "subida mais íngreme"): A ( lento) método de interesse histórico e teórico, que tem renovado interesse por encontrar soluções aproximadas de enormes problemas. : Um método iterativo para grandes funções localmente de Lipschitz usando gradientes generalizados. Seguindo Boris T. Polyak, os métodos de projeção de subgradiente são semelhantes aos métodos de gradiente conjugado.
    • Método Bundle de descida: Um método iterativo para problemas de pequeno a médio porte com funções de Lipschitz localmente, particularmente para problemas de minimização convexa (semelhante aos métodos de gradiente conjugado). : Um método iterativo para pequenos problemas com funções objetivo quase convexas e de grande interesse teórico, particularmente no estabelecimento da complexidade do tempo polinomial de alguns problemas de otimização combinatória. Tem semelhanças com os métodos Quasi-Newton. para minimização aproximada de problemas especialmente estruturados com restrições lineares, especialmente com redes de tráfego. Para problemas gerais sem restrições, esse método se reduz ao método do gradiente, que é considerado obsoleto (para quase todos os problemas). : Métodos iterativos para problemas de médio-grande porte (por exemplo, N & lt1000). (SPSA) método para otimização estocástica usa aproximação de gradiente aleatório (eficiente).
      métodos métodos, que têm melhores propriedades de convergência do que a heurística de Nelder-Mead (com simplicidade), que é listada abaixo.

    Convergência global Editar

    Mais geralmente, se a função objetivo não é uma função quadrática, então muitos métodos de otimização usam outros métodos para garantir que alguma subsequência de iterações converge para uma solução ótima. O primeiro e ainda popular método para garantir a convergência se baseia em pesquisas de linha, que otimizam uma função ao longo de uma dimensão. Um segundo método cada vez mais popular para garantir a convergência usa regiões de confiança. Ambas as pesquisas de linha e regiões de confiança são usadas em métodos modernos de otimização não diferenciável. Normalmente, um otimizador global é muito mais lento do que otimizadores locais avançados (como BFGS), portanto, muitas vezes um otimizador global eficiente pode ser construído iniciando o otimizador local a partir de diferentes pontos de partida.

    Edição de heurísticas

    Além de algoritmos (de terminação finita) e métodos iterativos (convergentes), existem heurísticas. Uma heurística é qualquer algoritmo que não é garantido (matematicamente) para encontrar a solução, mas que é útil em certas situações práticas. Lista de algumas heurísticas conhecidas:

      [4] com reinício aleatório: uma heurística popular para minimização aproximada (sem chamar gradientes) [5] implementada no LIONsolver

    Edição de Mecânica

    Problemas na dinâmica do corpo rígido (em particular dinâmica do corpo rígido articulado) muitas vezes requerem técnicas de programação matemática, uma vez que você pode ver a dinâmica do corpo rígido como uma tentativa de resolver uma equação diferencial ordinária em uma variedade de restrição [6] as restrições são várias restrições geométricas não lineares, como "estes dois pontos devem coincidir sempre", "esta superfície não deve penetrar em nenhuma outra" ou "este ponto deve estar sempre algures nesta curva". Além disso, o problema de calcular forças de contato pode ser feito resolvendo um problema de complementaridade linear, que também pode ser visto como um problema de QP (programação quadrática).

    Muitos problemas de projeto também podem ser expressos como programas de otimização. Esta aplicação é chamada de otimização de design. One subset is the engineering optimization, and another recent and growing subset of this field is multidisciplinary design optimization, which, while useful in many problems, has in particular been applied to aerospace engineering problems.

    This approach may be applied in cosmology and astrophysics. [7]

    Economics and finance Edit

    Economics is closely enough linked to optimization of agents that an influential definition relatedly describes economics qua science as the "study of human behavior as a relationship between ends and scarce means" with alternative uses. [8] Modern optimization theory includes traditional optimization theory but also overlaps with game theory and the study of economic equilibria. O Journal of Economic Literature codes classify mathematical programming, optimization techniques, and related topics under JEL:C61-C63.

    In microeconomics, the utility maximization problem and its dual problem, the expenditure minimization problem, are economic optimization problems. Insofar as they behave consistently, consumers are assumed to maximize their utility, while firms are usually assumed to maximize their profit. Also, agents are often modeled as being risk-averse, thereby preferring to avoid risk. Asset prices are also modeled using optimization theory, though the underlying mathematics relies on optimizing stochastic processes rather than on static optimization. International trade theory also uses optimization to explain trade patterns between nations. The optimization of portfolios is an example of multi-objective optimization in economics.

    Since the 1970s, economists have modeled dynamic decisions over time using control theory. [9] For example, dynamic search models are used to study labor-market behavior. [10] A crucial distinction is between deterministic and stochastic models. [11] Macroeconomists build dynamic stochastic general equilibrium (DSGE) models that describe the dynamics of the whole economy as the result of the interdependent optimizing decisions of workers, consumers, investors, and governments. [12] [13]

    Electrical engineering Edit

    Some common applications of optimization techniques in electrical engineering include active filter design, [14] stray field reduction in superconducting magnetic energy storage systems, space mapping design of microwave structures, [15] handset antennas, [16] [17] [18] electromagnetics-based design. Electromagnetically validated design optimization of microwave components and antennas has made extensive use of an appropriate physics-based or empirical surrogate model and space mapping methodologies since the discovery of space mapping in 1993. [19] [20]

    Civil engineering Edit

    Optimization has been widely used in civil engineering. Construction management and transportation engineering are among the main branches of civil engineering that heavily rely on optimization. The most common civil engineering problems that are solved by optimization are cut and fill of roads, life-cycle analysis of structures and infrastructures, [21] resource leveling, [22] [23] water resource allocation, traffic management [24] and schedule optimization.

    Operations research Edit

    Another field that uses optimization techniques extensively is operations research. [25] Operations research also uses stochastic modeling and simulation to support improved decision-making. Increasingly, operations research uses stochastic programming to model dynamic decisions that adapt to events such problems can be solved with large-scale optimization and stochastic optimization methods.

    Control engineering Edit

    Mathematical optimization is used in much modern controller design. High-level controllers such as model predictive control (MPC) or real-time optimization (RTO) employ mathematical optimization. These algorithms run online and repeatedly determine values for decision variables, such as choke openings in a process plant, by iteratively solving a mathematical optimization problem including constraints and a model of the system to be controlled.

    Geophysics Edit

    Optimization techniques are regularly used in geophysical parameter estimation problems. Given a set of geophysical measurements, e.g. seismic recordings, it is common to solve for the physical properties and geometrical shapes of the underlying rocks and fluids. The majority of problems in geophysics are nonlinear with both deterministic and stochastic methods being widely used.

    Molecular modeling Edit

    Nonlinear optimization methods are widely used in conformational analysis.

    Computational systems biology Edit

    Optimization techniques are used in many facets of computational systems biology such as model building, optimal experimental design, metabolic engineering, and synthetic biology. [26] Linear programming has been applied to calculate the maximal possible yields of fermentation products, [26] and to infer gene regulatory networks from multiple microarray datasets [27] as well as transcriptional regulatory networks from high-throughput data. [28] Nonlinear programming has been used to analyze energy metabolism [29] and has been applied to metabolic engineering and parameter estimation in biochemical pathways. [30]


    6.3: Newton's Method - Mathematics

    Sir Isaac Newton has been described by some as "one of the greatest names in human thought" (Cohen, 1985). Newton was responsible for discovering many outstanding scientific and mathematical concepts. Among those discoveries were his theories of motion and gravitation, the components of light and color and his development of the foundations of calculus. There were many interesting aspects of Newtons life which seemed at times to contradict each other.

    Newton, was born on Christmas day in 1642 to a family of farmers in the east central portion of England in Linconshire. Surprisingly young Isaac was not an exceptional student. He enjoyed spending much of his time making contraptions such as a windmill used to grind grain, a clock which was powered by water and other various inventions. Unfortunately because of the time he spent on his projects he did very poorly in school. His teachers described him as "idle" and "inattentive". His father died before he was born and mother remarried leaving him in the care of his grandmother. At the age of fourteen Newton was forced to leave school to help his mother with farming.

    Isaac spent much of his time on the farm reading and ended up returning to school. At the bidding of an uncle, Newton began furthering his education in June of 1661, when he entered Trinity College, Cambridge. He set out to get a degree in law and this limited his field of study was very during his first few years of college. However, by the third year he was allowed more freedom to pursue other interests. During this time he was able to study new mathematical and scientific methods from such scientists and mathematicians as Galileo, and Wallis. Newton graduated from Cambridge in 1665, without any particular honors.

    In the summer of 1665, Newton who had not been an exceptional student and appeared at times very average, seemed to under go a change. During an eighteen month period, in which the school he was at was shut down because of the plague, Newton came up with his theories of motion and gravitation, the components of white light, and calculus. The often told story of how Newton discovered gravity goes as follows: Newton was drinking tea as the British often do, and he observed an apple falling from a tree. He deduced that the same force which caused the apple to fall to the ground causes the moon to orbit the earth (Cohen, 1985). As stated earlier, Newton helped developed what he called fluxions, which is now called calculus ( Burton, 1997). This branch of mathematics Newton discovered, could be used find the answers to such problems as finding the speed of a ball that has been thrown in the air at any moment in the balls flight. During the same time period a German mathematician named Gottfried Leibniz also discovered calculus. With Newtons's and Leibniz's new discoveries mathematicians and scientists were able to enter into new regions of discovery.

    As if that wasn't enough Newton made a third important discovery. He used a prism to show that white light is made up of many different colors. Before this scientists had thought that white light was a single entity. While Isaac was looking through a telescope, one day he noted how the light reflected many different colors and led him to this discovery.

    Newton was very sensitive to negative comments and had to be convinced by another scientist Edmond Halley to publish his findings. After his book Principia Mathematica in which his various discoveries and ideas were presented, Newton enjoyed success in other realms. He became a member of the British Parliament and was a member of various mathematical organizations such as the Royal Society council to which he was later elected president. He died on March 31, 1727 in London.

    Newton had many interesting characteristics such as his study alchemy. Which is a blend of chemistry, magic and religion. Achlemists' goal was to find a way to produce gold out of different metals and also to find a magic potion which could cure ills and increase ones life. Isaac was modest, and generous to his family and those who helped him along the way. Some of Newton's discoveries were later refuted by Albert Einstein in reference to his theories of gravitational pull. However, Einstein and others still contend that Newton was indeed a very important force in man's quest for knowledge and is highly regarded for his contributions in many different areas of science.


    Conteúdo

    Suppose we are given the function

    We will start with the approximation x0 = -0.5. The first approximation will be

    Plugging this into the original equation, we get

    The more approximations we make, the closer to zero the function will become.


    6.3: Newton's Method - Mathematics

    In engineering, many problems require one to find the stationary point or root of a function f(x) = 0. High order functions, such as x 10 + 7x 9 + 4x 7 + 8x 4 + 9x 3 + 70 = 0, are extremely difficult to solve by hand. However, numerical methods like Newton's method can find the approximate root for such equations.


    Newton's Method - First Iteration

    The prerequisite of using Newton's method, also known as Newton-Raphson method, is that the function must be differentiable and point x1, the initial estimate, must be close to a solution of the equation f(x) = 0. Numerical methods require numerous steps use the derivative of the function to "zero in " to the answer. This is done by first constructing function's tangent line L1 from point (x1, f(x1)). Next, find the intersection of the x axis and L1 which is (x2, 0). It is helpful to remember that the equation of a line is

    where m is the slope. As the slope of L1 is the derivative of the function and (x1, f(x1)) is a given point, the equation of L1 can be expressed as

    Since L1 intersects x axis, the value of y2 equals 0. The equation can be simplified to

    Next, repeat this iteration from x2. The intersection, x3, of tangent line L2 and x axis, is found.

    By repeating this iteration, a series of points x1, x2, x3, . xn is obtained. The value of xn+1 é

    This value approaches to the stationary point of the function.

    The concept of Newton's Method can be understand by finding the stationary point around (9, 75) for function y = x 2 - 6.

    To compare with Newton's method later, the exact answer is easily determined. When y = 0,

    Therefore, x = 2.449 and x = -2.449, the stationary point around (9, 75) is x = 2.449. In the diagram it is s = 2.449.

    Now use the Newton's method to find the stationary point.The slope of the tangent line for function y = x 2 - 6 is

    Recall that the equation for the tangent line is

    First iteration

    Substitute (9, 75) and m = 18 into the line equation gives,

    When stationary point is the point when y = 0, thus,

    That is x2 = 4.833. The relative error = (x2 - s)/s = (4.833 - 2.449)/2.449 = 97.3%. This error is too large to accept. Therefore more iterations are needed.

    Second iteration

    Find the function's value when x2 = 4.833.

    Substituting (4.833, 17.358) and m = 2x = 2(4.833) = 9.666 into y - y2 = m (x - x2) gives:

    So x = 3.037. That is x3 = 3.037. The relative error = (x3 - s)/s = (3.037 - 2.449)/2.449 = 24%

    It is obvious that the relative error reduces and the value approaches real stationary point. If more iterations are done, the accuracy increases.


    Failed to Use Newton's Method to
    Find the Root for y = x 2 - 4x +15
    with 2 as the Starting Point


    Failed to Use Newton's Method
    to Find the Root of Function y = x 1/3


    Newton Basins

    Newton's method for finding solutions to equations leads to some fantastic images when it's applied to complex functions. You start with an initial guess for the solution which may be any number, and the method gives you a closer estimate to the solution. The next estimate will be even closer. Anyway, that's what often happens.
    Typically, there's more than one solution to the equation. If you start near one solution, you'll quickly get to it. But what happens if you start somewhere between two solutions? That's when you get interesting pictures. Color the complex plane according to where an initial guess will eventually take you. Give each solution a different color so that all the initial guesses that eventually eventually lead you to one to that solution are colored the same. UMA Newton basin is just the set of initial guesses that lead to one solution.
    What's interesting is that Newton basins are fractals! They aren't just blobs in the complex plane, but have beautifully intricate boundaries. In fact, they are kinds of Julia sets.
    Look over the background on Newton's method if you'd like to understand more about the mathematics involved. Browse some examples for a quick idea of the possibilities. Then create your own images of Newton basins with the generation form which allows you to see Newton basins for polynomials.


    6.3: Newton's Method - Mathematics

    Newton's method (or the Newton-Raphson method) is a simple iterative numerical method to approximate roots of equations: Given one approximation, the idea is to go up to the graph, and then slide down the tangent to the x-axis to obtain the next approximation. In symbols, the sequence of approximate roots x0, x1, x2, x3, . is created by the rule xn+1 = xn - f(xn)/f'(xn) where f is the function whose roots we want, and f' is its derivative.

    -> Try various initial points to compare how quickly a true root is approached.
    -> Note that it is harder to approach "middle" roots than the largest and smallest.
    -> See Pathological Example to see what can go wrong. © 1997, Paul Garrett . [ garrett@math.umn.edu ] The University of Minnesota explicitly requires that I state that "The views and opinions expressed in this page are strictly those of the page author. The contents of this page have not been reviewed or approved by the University of Minnesota."


    Convergence of Newton’s method: multiple root

    Assume that $f$ has a root of multiplicity $p$. Then, Newton’s method converges linearly ($1^$-order) and the asymptotic error constant is:

    $f$ has a root of multiplicity $pgeq 2$. Consequently, there exists an application $h$ such that:

    The derivative $g’$ of $g$ is defined by:

    therefore: $g’(x_*) eq 0$ since $pgeq 2$. A $1^$-order Taylor series of the $g$ in the neighborhood of $x_*$gives:

    where $xi_nin]x_*,e_n+x_*[=]x_*,x_n[$. Hence:

    The convergence is of the $1^$-order ie. linear, since:

    with an asymptotic constant


    Exemplos

    Supergolden Ratio

    Let's test our function newton on the polynomial $p(x) = x^3 - x^2 - 1$ to approximate the super golden ratio.

    How many iterations of the bisection method starting with the interval $[1,2]$ can achieve the same accuracy?

    Divergent Example

    Newton's method diverges in certain cases. For example, if the tangent line at the root is vertical as in $f(x)=x^<1/3>$. Note that bisection and secant methods would converge in this case.