How to backtest a trading system

Backtesting: Interpretação do passado O backtesting é um componente chave do desenvolvimento efetivo do sistema de negociação. Isso é realizado reconstruindo, com dados históricos, negociações que teriam ocorrido no passado usando regras definidas por uma determinada estratégia. O resultado oferece estatísticas que podem ser usadas para avaliar a eficácia da estratégia. Usando esses dados, os traders podem otimizar e melhorar suas estratégias, encontrar falhas técnicas ou teóricas e ganhar confiança em sua estratégia antes de aplicá-la nos mercados reais. A teoria subjacente é que qualquer estratégia que funcionou bem no passado provavelmente funcionará bem no futuro e, inversamente, qualquer estratégia que tenha tido um desempenho ruim no passado provavelmente terá um desempenho ruim no futuro. Este artigo examina quais aplicativos são usados ​​para backtest, que tipo de dados é obtido e como usá-los. Os dados e o backtesting de ferramentas podem fornecer muitos dados estatísticos valiosos sobre um determinado sistema. Algumas estatísticas de backtesting universais incluem: Lucro ou perda líquida - ganho ou perda percentual líquido. Período de tempo - datas passadas em que o teste ocorreu. Universo - Ações que foram incluídas no backtest. Medidas de volatilidade - Máximo percentual de vantagens e desvantagens. Médias - Ganho médio percentual e perda média, barras médias mantidas. Exposição - Porcentagem de capital investido (ou exposto ao mercado). Rácios - rácio de ganhos / perdas. Retorno anualizado - Retorno percentual ao longo de um ano. Retorno ajustado ao risco - Retorno percentual em função do risco. Normalmente, o software de backtesting terá duas telas importantes. O primeiro permite que o comerciante personalize as configurações para o backtesting. Essas personalizações incluem tudo, desde período de tempo até custos de comissão. Aqui está um exemplo de tal tela no AmiBroker: A segunda tela é o relatório de resultados de backtesting real. É aqui que você pode encontrar todas as estatísticas mencionadas acima. Novamente, aqui está um exemplo desta tela no AmiBroker: Em geral, a maioria dos softwares de negociação contém elementos semelhantes. Alguns programas de software high-end também incluem funcionalidades adicionais para executar dimensionamento automático de posição, otimização e outros recursos mais avançados. Os 10 Mandamentos Há muitos fatores aos quais os investidores prestam atenção quando estão realizando backtesting de estratégias de negociação. Aqui está uma lista das 10 coisas mais importantes a serem lembradas durante o backtesting: Leve em consideração as amplas tendências de mercado no período de tempo em que uma determinada estratégia foi testada. Por exemplo, se uma estratégia só foi testada novamente em 1999-2000, ela pode não se sair bem em um mercado em baixa. Muitas vezes é uma boa ideia fazer backtest durante um longo período de tempo que engloba vários tipos diferentes de condições de mercado. Leve em conta o universo em que ocorreu o backtesting. Por exemplo, se um sistema amplo de mercado for testado com um universo constituído por ações de tecnologia, ele pode não se dar bem em setores diferentes. Como regra geral, se uma estratégia é direcionada a um gênero específico de estoque, limite o universo a esse gênero, mas, em todos os outros casos, mantenha um grande universo para fins de teste. Medidas de volatilidade são extremamente importantes para considerar no desenvolvimento de um sistema de negociação. Isto é especialmente verdadeiro para as contas alavancadas, que são sujeitas a chamadas de margem se o seu patrimônio cai abaixo de um certo ponto. Os comerciantes devem procurar manter a volatilidade baixa, a fim de reduzir o risco e facilitar a transição dentro e fora de um determinado estoque. O número médio de bares mantidos também é muito importante para assistir ao desenvolver um sistema de negociação. Embora a maioria dos softwares de backtesting inclua custos de comissão nos cálculos finais, isso não significa que você deva ignorar essa estatística. Se possível, aumentar o seu número médio de barras pode reduzir os custos de comissão e melhorar seu retorno geral. A exposição é uma faca de dois gumes. O aumento da exposição pode levar a maiores lucros ou maiores perdas, enquanto a diminuição da exposição significa menores lucros ou menores perdas. No entanto, em geral, é uma boa ideia manter a exposição abaixo de 70, a fim de reduzir o risco e facilitar a transição dentro e fora de um determinado estoque. A estatística de ganho / perda médio, combinada com a taxa de ganhos por perdas, pode ser útil para determinar o tamanho ideal de posição e gerenciamento de dinheiro usando técnicas como o Critério Kelly. (Veja Gerenciamento de Dinheiro Usando o Critério Kelly). Os comerciantes podem assumir posições maiores e reduzir os custos de comissão, aumentando seus ganhos médios e aumentando sua taxa de ganhos por perdas. O retorno anualizado é importante porque é usado como uma ferramenta para avaliar os retornos de sistemas em relação a outros locais de investimento. É importante não só olhar para o retorno anualizado global, mas também para levar em conta o aumento ou diminuição do risco. Isso pode ser feito observando o retorno ajustado ao risco, que é responsável por vários fatores de risco. Antes de um sistema de negociação ser adotado, ele deve superar todos os outros espaços de investimento em risco igual ou menor. A personalização de backtesting é extremamente importante. Muitos aplicativos de backtesting têm entradas para quantidades de comissão, tamanhos de lotes redondos (ou fracionários), tamanhos de ticks, requisitos de margem, taxas de juros, premissas de slippage, regras de dimensionamento de posição, regras de saída de barra idêntica, configurações de parada (trailing) e muito mais. Para obter os resultados de backtesting mais precisos, é importante ajustar essas configurações para imitar o broker que será usado quando o sistema for ativado. O backtesting às vezes pode levar a algo conhecido como otimização excessiva. Essa é uma condição em que os resultados de desempenho são tão altamente ajustados ao passado que não são mais precisos no futuro. Geralmente, é uma boa ideia implementar regras que se apliquem a todas as ações, ou um conjunto selecionado de ações específicas, e que não sejam otimizadas na medida em que as regras não sejam mais compreensíveis pelo criador. O backtesting nem sempre é a maneira mais precisa de avaliar a eficácia de um determinado sistema de negociação. Às vezes, as estratégias que tiveram bom desempenho no passado não se dão bem no presente. O desempenho passado não é indicativo de resultados futuros. Certifique-se de que o comércio de papel é um sistema que foi testado com sucesso antes de entrar em operação para garantir que a estratégia ainda se aplica na prática. Conclusão O backtesting é um dos aspectos mais importantes do desenvolvimento de um sistema de negociação. Se criado e interpretado corretamente, ele pode ajudar os traders a otimizar e melhorar suas estratégias, encontrar falhas técnicas ou teóricas, bem como ganhar confiança em sua estratégia antes de aplicá-la aos mercados do mundo real. Recursos Tradecision (tradecision) - Desenvolvimento de Sistema de Negociação de Alto Padrão AmiBroker (amibroker) - Desenvolvimento do Sistema de Negociação Orçamentária. Teste Suas Estratégias de Negociação nesses Web Sites Não seria ótimo se você pudesse elaborar uma estratégia de negociação, testá-la com dados históricos por cinco meses , cinco anos, seja o que for, e depois deixar o sistema funcionar automaticamente por um tempo - negociação de papel para que você possa ver como funciona Na verdade, o software permite que você faça exatamente isso já existe há anos. O problema é que os programas têm sido tão desajeitados que apenas programadores hardcore poderiam usá-los. Ou então - como falei em uma coluna em março - o software estava trancado nos fundos das empresas de investimento. Agora, o software de negociação analítica está começando a se infiltrar na Web. Se isso é bom ou não, podemos lidar em um momento. Mas o fato é que, agora, você pode se cadastrar em vários sites da Web e testar software de desenvolvimento de estratégias de forma gratuita. Além disso, pelo menos uma corretora on-line planeja tornar a negociação analítica uma parte importante de seu pacote de serviços. Robotrader Primeiro, o que exatamente são programas analíticos e como funcionam? Muitos funcionam um pouco como as telas de estoque sobre as quais escrevi em junho. Para usá-los, você primeiro cria uma série de regras que você acha que deve governar sua negociação. Um exemplo pode ser: Comprarei apenas estoques de empresas de componentes óticos com alto crescimento de dois dígitos nos lucros e que atualmente estão sendo negociados abaixo de sua média móvel de 50 dias. Estou usando apenas estoques como exemplo. Programas diferentes permitem que você crie estratégias de negociação para futuros, opções e moedas. Em todos os casos, basta preencher os espaços em branco, como em um questionário, denotando todos os critérios que você deseja usar. Uma tela de estoque, em seguida, cuspirá uma lista de empresas que se encaixam na conta. Mas os programas analíticos vão um passo além. Eles pesquisarão empresas que atenderam aos seus critérios, digamos, dois anos atrás. Então, agindo como se tivessem comprado ações dessas ações há dois anos, eles acompanhariam o progresso do investimento usando dados históricos do mercado. Dessa forma, eles são capazes de testar se sua estratégia teria feito você rico ou pobre. O termo para isso é o teste de volta. Como próximo passo, os programas analíticos irão contabilizar estoques comerciais que atendam aos seus critérios de seleção. Isso é chamado de teste avançado. E aqui novamente, você tem uma visão contínua de quão bem o seu sistema funciona. Por fim, no decorrer de sua negociação ao vivo, os melhores desses programas examinam terabytes de dados de mercado em tempo real e alertam quando surge uma oportunidade de negociação - como sempre, com base nas regras que você definiu. Essa é a gama de coisas que esses programas podem fazer por você. Alguns sites agora oferecem gratuitamente partes dessa funcionalidade. Por exemplo, a tela de estoque do CNBC permite que você crie uma pesquisa bastante complexa que mostre uma lista de empresas. Além disso, um bom gráfico aparece para mostrar o desempenho da sua estratégia mês a mês durante o ano passado. Outro site, Tradetrek. Realmente escolhe ações para você com seu software analítico. E assim o site é semelhante ao siXer. EquityTrader e StockConsultant. Todos esses sites gratuitos usam software analítico para gerar sinais de compra e venda. O Tradetrek é um pouco diferente, pois incorpora um recurso de teste de retorno que permite que você veja o desempenho do software no passado. Basta escolher uma data, clicar em uma das recomendações de ações que apareceram nessa data e, em seguida, clicar no dia seguinte. E você vê se a recomendação de programas teria feito ou perdido seu dinheiro. (Seria bom se mais sites financeiros fossem publicados). O Tradetrek é gratuito se você usar dados atrasados. As assinaturas dão acesso a dados em tempo real e custam 25 por mês. A AboveTrade vai ainda mais longe, permitindo que você planeje e retroceda para testar estratégias de negociação para ações individuais. Então digamos que você escolha America Online (AOL). Diga ao programa quanto de ganho você quer cada vez que entrar em uma posição longa. Vamos dizer que você gostaria de fazer 4 em cada negociação. Agora aqui está onde o AboveTrade fica um pouco caricatural. Você escolhe então de um punhado de estratégias enlatadas. Cada um tem um nome descritivo, como o Cauteloso Dr. Trend ou o Agressivo Major Bullmaker. Então você escolhe uma calculadora de analista de mercado que dá peso especial para, digamos, taxas de juros ou o setor em que seu estoque se encaixa, neste caso o setor de Internet. Pressione o botão Ver Resultados e você verá até que ponto sua estratégia para o estoque pode ter funcionado no período de até dois anos. Especificamente, um gráfico do estoque aparece mostrando os pontos de entrada e saída sugeridos para o período de teste. Se a sua estratégia for uma vencedora, você pode procurar paralelos entre a forma como a ação foi registrada no passado e como ela é registrada atualmente e depois negociada de acordo. Conceber mesmo este tipo de estratégia simplificada pode ser demorado. Os sistemas de negociação que eu construí em AboveTrade, invariavelmente, voltavam mostrando retornos negativos. Talvez tenha sido apenas a minha sorte. Felizmente, o AboveTrade tem um recurso que mostra as estratégias vencedoras escolhidas por outros membros. Descobri, por exemplo, que uma estratégia de membros, apelidada de AOL e asha, teria me dado um ganho de 104 no último ano até a quarta-feira (contra um retorno de 12,5 se você tivesse comprado e mantido o estoque durante esse período). Esse recurso me lembra as recomendações de ações amadores que você encontra em sites como ClearStation e iexchange. Exceto que ao invés de trocar recomendações de ações, as pessoas da AboveTrade são capazes de trocar estratégias de negociação. É tudo muito divertido. Mas, como sugeri anteriormente, o AboveTrade parece mais um brinquedo do que um aplicativo sério. Por um lado, não faço ideia de que critérios específicos o Agressivo Maior Bullmaker baseia as decisões de negociação. Aliás, eu não apostaria a casa em uma estratégia cunhada pela tela de ações da CNBC ou pelo mecanismo de cotação de ações da Tradetrek - não sem muito mais diligência. Coisas sérias Muitas empresas comercializam programas analíticos mais sérios na Internet. A revista Análise Técnica de Ações e Commodities (traders) contém o que provavelmente é a lista mais completa disponível. O líder nesta categoria tem sido a TradeStation da Omega Research. A TradeStation tem sua própria linguagem de programação, bem como uma extensa lista de estratégias enlatadas para escolher. Os usuários do programa sempre foram uma subcultura muito unida, como os proprietários de trailers da Airstream. Eles se reúnem em convenções anuais e pertencem a clubes de usuários em todo o país. E eles ativamente vendem ou trocam as estratégias de negociação que criaram. Até recentemente, o conjunto completo de programas da TradeStation custaria cerca de 5.000. Mas em algum momento de setembro, a Omega Research planeja se fundir com a corretora de comércio ativo da Internet, a OnlineTrading. Quando isso acontece, TradeStation não será vendido como um pacote independente. Em vez disso, ele será integrado à plataforma de execução da OnlineTradings, que recebe uma comissão por comércio e já contém os daybaders que os bells and whistles procuram. A idéia, é claro, é que você pode programar em uma estratégia de negociação usando a TradeStation, depois fazer o teste e testá-lo. E quando você está pronto para ir ao vivo, você só puxa o gatilho sempre que o seu sistema vê uma oportunidade - um bom pacote. E o co-fundador da Omega Research, Ralph Cruz, acredita que pode contar com 45.000 clientes fortes da TradeStations para estar entre os primeiros a migrar para o novo serviço, que será chamado de TradeStation. Você poderia pensar na TradeStation como concorrente da CyBerCorp, diz Cruz. Uma corretora de daytrading popular, CyBerCorp tem uma plataforma de execução de nível profissional que também inclui um programa analítico chamado CyBerQuant. O CyBerQuant permite que você faça uma triagem de estoque em tempo real, mas não testa os resultados. Assim, os testes e outras ferramentas sofisticadas de desenvolvimento de estratégias de negócios tornam-se parte de todo arsenal de traders ativos. Cruz acredita que deixar um computador para planejar e executar suas negociações tirará muita angústia e incerteza do trabalho. Os comerciantes agora estão sobrecarregados com informações, diz ele. Mas, no fundo, eles percebem que, em última análise, o maior obstáculo ao seu próprio sucesso são suas próprias emoções, especificamente o medo e a ganância. A TradeStation baseia-se na premissa de que a melhor maneira de ter sucesso é isolar suas emoções de sua tomada de decisão. Mark Ingebretsen é editor-geral com a revista Online Investor. Ele escreveu para uma ampla variedade de publicações comerciais e financeiras. Atualmente ele não possui posições nas ações das empresas mencionadas nesta coluna. Embora a Ingebretsen não possa fornecer conselhos ou recomendações de investimento, ele agradece seu feedback em mingebretsenonlineinvestor. Como reverter os sistemas de negociação e evitar ajustes de curva Para julgar como um determinado sistema comercial deve funcionar no futuro, nós o testamos em dados de mercado anteriores. O backtesting aplica um conjunto de regras de negociação a dados históricos para estimar como essas regras teriam sido realizadas se realmente as tivéssemos negociado. Bons resultados históricos hipotéticos não garantem que um conjunto de regras funcionará bem no futuro. No entanto, resultados históricos hipotéticos pobres quase certamente significam que um sistema não deve ser negociado em tempo real. O valor percebido do backtesting está enraizado na crença de que as tendências históricas se repetem. Os comerciantes têm testado estratégias sobre dados históricos por gerações. No entanto, a prática tornou-se popular com o advento dos computadores pessoais e com o software de teste de sistema criado para fins específicos. como o System Writer, que evoluiu para o TradeStation. Este software e um banco de dados de dados históricos permitiram que aqueles sem um histórico de escrita de códigos testassem as idéias do sistema de negociação. A compreensão e aceitação mais amplas dos sistemas de negociação, bem como a frustração que muitos enfrentaram ao tentar construir sistemas de negociação por conta própria, ajudaram o mercado de sistemas de terceiros a florescer durante os anos 90. A Futures Truth é uma empresa independente que acompanha os sistemas de negociação disponíveis comercialmente desde os anos 80. Atualmente, ele rastreia mais de 500 sistemas. A Futures Truth testa sistemas de negociação em tempo real, não em dados históricos. Isso impede a modificação de regras ao longo do tempo e simula melhor a execução de regras em condições reais de mercado, como períodos de alta volatilidade. De acordo com a Futures Truth, apenas cerca de 45 dos sistemas rastreados são lucrativos a longo prazo, enquanto apenas 20 exibiram uma boa relação risco / recompensa. No entanto, esses números provavelmente são melhores que os da população mais ampla, porque apenas os fornecedores realmente confiantes em sua lógica entregam-se à Futures Truth para análise em tempo real e crítica pública. Muitos sistemas falham porque não têm uma premissa válida. Em vez disso, os parâmetros de entrada e saída são derivados da mineração de dados. A mineração de dados simplesmente verifica dados históricos em busca de regras que funcionariam no passado. Freqüentemente, essas regras se encaixam precisamente no passado e não têm esperança de funcionar melhor do que aleatoriamente em dados não vistos. Em vez disso, o desenvolvimento do sistema deve começar com uma teoria que possa ser testada, analisada e ajustada para aplicação. Esse conceito também implica uma perspectiva diferente do próprio teste do sistema: o objetivo do backtesting não é produzir uma coleção de estatísticas hipotéticas de lucros e perdas. É testar a validade da teoria e a precisão das regras para capturar a premissa. O teste do sistema é um processo multifacetado a partir dos dados, até a escala de tempo, para as suposições de entrada do pedido, para as especificações do contrato e controle de risco. O fracasso em qualquer um deles pode arruinar um teste de outra forma válida, ou manipulá-los pode gerar resultados que são muito superiores ao que atingiríamos em tempo real. Você precisa fazer certo se você espera validar o mdash ou quando apropriado, invalidar o seu sistema. Ferramentas do comércio Existem dois elementos para o backtesting: As ferramentas apropriadas - software e dados - e um método científico para desenvolver sistemas usando essas ferramentas. Letrsquos começa por olhar para as ferramentas do comércio. Muitas opções estão disponíveis para testar suas ideias. Eles diferem na facilidade de transformar idéias em código e em como eles lidam com os detalhes, o que pode ter um grande impacto nos resultados. Por exemplo, se um sistema entrar em uma ordem de limite, algum software registrará um preenchimento se esse preço for tocado. No entanto, dificilmente há uma garantia de que tal ordem tenha sido preenchida em negociações reais, nem há uma garantia de que isso não aconteça. Entrando em paradas garante uma entrada, mas não um preço. Outra questão é registrar preços reais. Embora a maioria dos softwares desenvolvidos profissionalmente não tenha mais esse problema, ainda é uma preocupação para aqueles que testam manualmente sistemas em planilhas, como o Microsoft Excel. Por exemplo, se um sistema compra em uma parada igual ao fechamento mais um terço da faixa média nos últimos três períodos, e se a faixa média é 10, então estamos comprando no fechamento mais 3,333. Se estamos negociando o E-mini SampP 500, ele comercializa em tamanhos de 0,25 ticks. Isso significa que o diferencial de entrada deve arredondar para 3.50. Um operador iniciante pode não perceber isso se processar manualmente os números, e não faz muito tempo que muitos programas profissionais cometeram o mesmo erro. Com o tempo, esse erro pode resultar em uma discrepância considerável. No quadro geral, no entanto, tais detalhes processuais são menores. O grande problema são os dados. Artigos relacionados