TOP 20 ferramentas para teste de carga em 2018

Yana Gusti 11/07/2019

As melhores ferramentas para teste de carga serão consideradas neste artigo. Você pode encontrar aqui informações sobre ferramentas gratuitas e comerciais para tornar seus testes de carga mais eficazes.

Ferramentas de teste de carga livre

Vamos começar pelas ferramentas distribuídas totalmente gratuitas.

Apache JMeter ™
Apache JMeter
O Apache JMeter é a ferramenta de software livre mais usada para o teste de carga. O JMeter foi originalmente projetado para testar aplicativos da Web ou aplicativos FTP. Atualmente, ele também pode ser usado para o teste funcional, teste de servidor de banco de dados, etc. O JMeter não requer infraestrutura de última geração para testes de carga e fornece suporte para injetores de carga múltiplos gerenciados por um único controlador.

Vamos considerar como isso geralmente funciona. O fluxo de trabalho do JMeter concluído está ilustrado na figura abaixo.

O fluxo de trabalho concluído do JMeter, como mostra a figura abaixo
As principais características e vantagens do JMeter.

Preço . JMeter é a ferramenta de código aberto, que permite que todos usem o código-fonte para o desenvolvimento.

Independência de plataforma. Como   O JMeter é um aplicativo de desktop 100% Java, portanto, ele pode ser executado em várias plataformas.

Instalação. Nenhuma instalação especial é necessária. Tudo o que você deve fazer para executar o JMeter é copiar e executar o arquivo * .bat.

GUI amigável (interface gráfica do usuário). Na verdade, ele pode ser usado em três modos: Modo GUI, Modo Servidor e Modo Linha de Comando. Demora um pouco de tempo para se familiarizar com o JMeter GUI.

Visualização do resultado do caso de teste. O resultado do teste pode ser exibido de diferentes maneiras: tabela, gráfico, arquivo de log e árvore.

Estrutura multi-threading . O JMeter ajuda a fornecer a amostragem paralela e simultânea de diferentes funções por um grupo de threads separado.

Alto nível de extensibilidade. Você tem a capacidade de escrever seus próprios casos de teste. Além disso, plugins especiais de visualização são suportados para estender seus testes.

Simulação. O JMeter permite simular vários usuários com encadeamentos paralelos e criar uma carga pesada em aplicativos da web sendo testados.

Suporte multiprotocolo.  Ele suporta todos os protocolos básicos, como HTTP, SOAP, LDAP, JDBC, JMS e FTP.

Teste de script. O Jmeter pode ser integrado ao Selenium e ao Shell de Feijão para testes automatizados.

“Gravar” e “ReproduçãoGravar “opções. A atividade do usuário no navegador pode ser registrada e simulada no aplicativo da web usando o JMeter.

Suporte integrado em tempo real.  Os coletores do Apache Tomcat permitem fornecer monitoramento em tempo real.

Fácil integração contínua com bibliotecas de código aberto.  O JMeter é integrado a bibliotecas de código aberto para Jenkins, Maven e Gradle.

JMeter também tem alguns pontos fracos :

  • Não há capacidade de gravar a comunicação HTTPS.
  • Não é capaz de monitoramento de estatísticas relacionadas ao servidor de aplicativos.
  • Não há opção de interceptação de tráfego AJAX.
  • Os recursos muito limitados da estrutura de relatórios.

O moedor
o logotipo do moedor
O Grinder é outro framework popular baseado em Java para testes de carga. O Jython, a implementação Java especial do Python, é a linguagem de script padrão. O testripst também pode ser escrito em Clojure.

As principais partes do The Grinder:

  • O console do moedor é o ambiente de desenvolvimento interativo básico (IDE) para desenvolvimento e edição de conjuntos de testes. Ele monitora os resultados em tempo real e controla vários agentes do The Grinder.
  • Os agentes do moedor são os geradores especiais de carga sem cabeça. Eles podem ter um número de Trabalhadores para criar a carga.

Você pode ver o sistema sob o teste de carga no The Grinder na imagem abaixo.

a carga de moedor
O moedor características principais :

  • O Grinder é a ferramenta multiplataforma. Pode ser executado em qualquer lugar onde você possa configurar uma Java Virtual Machine.
  • Suporte a vários protocolos.
  • Desenvolvimento de script rápido e poderoso
  • Gráficos de desempenho simples e deslizantes para todas as transações em uma guia.
  • Os usuários têm a capacidade de gravar os próprios plug-ins em uma interface documentada
  • Parametrização flexível.
  • O usuário tem a capacidade de carregar a API Java como um teste de servidores da Web HTTP, serviços SOAP e REST.
  • Muita flexibilidade para carregar e executar bibliotecas de terceiros é oferecida pelo The Grinder.

Integração com JIRA .

O moedor desvantagens :

  • Falhas de memória podem estar nos cenários de download de arquivos grandes.
  • O console do Grinder não pode ajustar dinamicamente os níveis da carga que está sendo gerada pelos agentes.
  • Não há ferramentas especiais de análise adicionais.
  • O conhecimento especial de Jython ou Clojure é necessário.

Gatling
Logo Gatling
Gatling é a poderosa “arma” baseada em Scala para testes de carga. Ele tem dois executáveis: um para gravação de caso de teste e outro para execução de caso de teste.

Na verdade, a estrutura do Gatling é definida em quatro partes:

  • Configuração do protocolo HTTP ajuda a definir o URL base para o qual você executará seus testes. Além disso, o agente do usuário, o cabeçalho de idioma e a conexão também podem ser definidos.
  • Definição de cabeçalhos fornece os cabeçalhos para o pedido que é enviado para o servidor.
  • Definição de cenário especifica um grupo de ações a serem executadas para simular uma interação do usuário com seu aplicativo.
  • Definição de simulação  destina-se a especificar o número de usuários que executará simultaneamente o cenário de carga para um determinado período de tempo.

o principais características  do Gatling:

  • Funciona com qualquer sistema operacional e qualquer navegador.
  • O Gatling suporta relatórios gráficos coloridos e informativos contendo informações valiosas para análise.
  • Pode executar seus casos de teste em diferentes nuvens de teste.
  • O Gatling pode ser facilmente integrado ao Jenkins através do plugin Jenkins e executa seus testes através do Gradle e do Maven com a ajuda do plugin Maven e do plugin Gradle.
  • Gatling usa uma pequena quantidade de memória.
  • Reduz o tempo da fase de depuração.
  • Erros e desvantagens são detectados na parte inicial do ciclo de desenvolvimento.

O Gatling desvantagens :

  • API foi radicalmente alterada. Portanto, há um problema com a execução de casos de teste escritos na versão antiga.
  • O Gatling não permite distribuir a carga entre as máquinas.
  • Não pode ser dimensionado horizontalmente.

Gafanhoto

O Locust é um conjunto de testes de carga distribuída, orientado por código, construído em Python. Ele é frequentemente usado para sites de teste de carga (ou outros sistemas) e indica quantos usuários simultâneos um sistema pode manipular.

Gafanhoto baseado na ideia original. Segundo ele, o enxame de gafanhotos atacará seu site durante o teste. Você pode definir o comportamento de cada gafanhoto (usuário). O processo de enxameamento é monitorado a partir de uma interface do usuário da web em tempo real e ajuda você a identificar os pontos fracos do seu código.

Chave dos gafanhotos características :

  • Qualquer sistema pode ser testado com o Locust.
  • É a ferramenta multiplataforma e facilmente extensível.
  • O comportamento de centenas de milhares de usuários pode ser simulado com o Locust.
  • Gafanhoto tem o código muito reutilizável.
  • Tem o alto nível de personalização. Há uma capacidade de combinar várias solicitações como um cenário agrupando solicitações com pontos personalizados específicos.

o limitações  dos gafanhotos:

  • A perda de estatísticas. O gafanhoto reúne e exibe estatísticas até que o número solicitado de usuários seja atingido. Depois disso, todas as estatísticas são redefinidas e começa a coletar novas estatísticas.
  • Testes em Locust nunca param. Não há capacidade de dizer quantos acessos cada usuário deve simular.
  • Não obtém todos os recursos disponíveis. Por exemplo, a Locust não solicitará uma URL, a menos que você diga explicitamente para fazer isso.

ApacheBench (ab) – ferramenta de benchmarking do servidor HTTP Apache
ApacheBench
O ApacheBench é provavelmente a ferramenta mais simples para o teste de carga. É o programa de linha de comando, que foi originalmente projetado para o teste do Servidor HTTP Apache. De fato, o ApacheBench pode ser eficaz no teste de qualquer servidor web.

Se você é usuário de macOS ou Linux, você já o possui no seu computador. Se o seu sistema operacional é o Windows, basta instalar o Apache e você verá ab.exe  na tua apache / bin  pasta.

O principal méritos  do ApacheBench:

  • É simples de usar e fácil de aprender a ferramenta.
  • Nenhuma instalação adicional é necessária.
  • O ApacheBench é a ferramenta econômica e que economiza tempo.
  • Existe a capacidade de definir o número total de solicitações, o número de consultas executadas paralelamente e o limite de tempo para todas as consultas.

Deméritos  do ApacheBench:

  • Má funcionalidade.
  • Não há capacidade de avaliar o desempenho do projeto de todos os lados.
  • O protocolo HTPS não é suportado.

Touro
Touro
Taurus é a plataforma de teste de multi-ferramenta de código aberto desenvolvida pelo BlazeMeter. Taurus significa T Husa Au tomation Ru nning S em voz baixa. A idéia principal de sua criação era reforçar ferramentas de teste de carga livre existentes como JMeter, Selenium, Grinder e Gatling.

O principal vantagens do Taurus:

  • Taurus tem a configuração e atualização simples.
  • O YAML ou o JSON facilita o controle de versão dos scripts.
  • Touro é fácil combinado com JMeter, Selenium, Grinder e Gatling, expandindo significativamente suas capacidades.
  • Relatórios em tempo real estão disponíveis durante a execução do caso de teste.
  • Scripts pré-existentes podem ser usados no Taurus.
  • Está fechado integrado ao BlazeMeter.
  • Os critérios flexíveis de aprovação / reprovação são definidos de maneira fácil.
  • O Taurus é executado em todos os lugares em que Python e Java podem ser executados.
  • Está integrado em ferramentas de IC como o Jenkins.

Alguns desvantagens  do Taurus:

  • O taurino é a ferramenta de uso intensivo de recursos.
  • Alterar a configuração de hardware está fora de seu escopo.
  • Casos de teste de resistência de longa duração não são suportados.

Cerco por Joe Dog
siege_joe_dog
O cerco é a utilidade especial para o teste de carga do protocolo HTPP e HTPS. Ele também pode ser usado como a ferramenta de benchmarking do servidor da web. Siege é a ferramenta baseada em GNU / Linux, mas agora ela foi portada com sucesso para o AIX, Solaris, HP-UX e BSD.

Chave do cerco características :

  • HTTP, HTTPS, protocolos FTP, cookies e autenticação simples são suportados.
  • É fácil compilar em SO baseado em Unix.
  • Cerco é a ferramenta multithreaded.
  • Existe uma capacidade de usuários carregar emulação.
  • Pode ser executado com vários endereços IP da mesma máquina.
  • A execução de casos de teste de cenário simples é suportada.

Alguns pontos fracos  do cerco:

  • Não pode ser executado no Windows. Porém, você pode usar Cygwin  fazer isso.
  • O cerco é a ferramenta de uso intensivo de recursos.
  • Não é adequado para testes sérios e em grande escala em centenas e milhares de threads.

Ferramentas de teste de carga comercial com edições gratuitas

O próximo grupo de ferramentas de teste de carga que vamos considerar é ferramentas comerciais que têm edições gratuitas. Naturalmente, quase as ferramentas mais comerciais para testes de carga têm o período de teste gratuito. Mas neste capítulo, falaremos sobre as ferramentas de teste de carga, que possuem algum tipo de edição livre.

Como regra, existem diferentes tipos de limitações do uso dessas ferramentas de teste de carga. Por exemplo, o número de usuários, o número de casos de teste executados por mês, o tempo de duração do teste, etc.

Comentários do WebLOAD
webload
WebLOAD é a ferramenta de teste e análise de carga que é distribuída pelo RadView Software. É uma ferramenta poderosa e eficaz para o teste de aplicativos da Web, bem como para o teste móvel. Casos de teste são gerados em JavaScript e podem ser aprimorados e editados usando várias ferramentas no IDE.

O WebLOAD é distribuído tanto de forma livre quanto comercial. Deve ser mencionado que o WebLOAD Free Edition inclui quase todos os recursos da versão comercial. As limitações relacionadas ao número de usuários virtuais (máximo de 50 pessoas) e algumas exceções para os recursos do Oracle Forms, Flex / AMF, streaming / multimídia.

Assim, as pequenas equipes têm a capacidade de usar seus recursos. Aqui estão alguns deles:

  • Suporte de tecnologia web importante.
  • O usuário tem a capacidade de gerar carga no local ou na nuvem.
  • Os assistentes da interface do usuário ajudam você a aprimorar o script.
  • Mais de 80 modelos de relatórios configuráveis são fornecidos pelos painéis de análise do WebLOAD.
  • O usuário tem a capacidade de compartilhar os resultados da execução de casos de teste em equipes distribuídas.
  • O WebLOAD pode ser facilmente integrado a muitas ferramentas populares: Selenium, Jenkins, Perfecto Mobile, New Relic e Dynatrace, etc.
  • Gargalos Potenciais são automaticamente detectados.
  • Uma ampla gama de ferramentas de testes móveis
  • Combinação de carga de usuário virtual no local e na nuvem.
  • O suporte ao cliente de alto nível.
  • Mecanismo de correlação poderoso.

Alguns pontos fracos do WebLOAD:

  • Não há suporte para Citrix.
  • O WebLOAD se concentra principalmente em desenvolvedores do que em especialistas em controle de qualidade. Portanto, habilidades técnicas especiais são necessárias para sua configuração.
  • Atualização não é capaz de usar scripts anteriores.
  • GUI do SAP em não suportado.

Verificador de desempenho HP (LoadRunner)
LoadRunner
O LoadRunner da Hewlett-Packard Enterprise é uma das ferramentas de teste de carga mais utilizadas.

o componentes de LoadRunner:

  • o Gerador de Usuários Virtuais (VuGen)  destina-se a gravar um script e permite desenvolver scripts Vuser (usuário virtual) para vários tipos de aplicativos e protocolos de comunicação.
  • o  Controlador  é o principal componente para controlar a simulação de carga.
  • Máquinas de agentes (geradores de carga ou injetores de carga)  são os usuários virtuais das máquinas espalhados.
  • Análise e Monitoramento do LoadRunner  é o desempenho detalhado de seus casos de teste.
  • LoadRunner Books Online  são os materiais de estudo completos para o HP LoadRunner.

o principais partes do processo de teste de carga  no LoadRuner:

  • Planejar teste de carga
  • Criar scripts do Vuser
  • Definir cenário
  • Cenário de execução
  • Analise os resultados

LoadRunners vantagens :

  • Simulação de transação interativa do usuário.
  • Uma ampla gama de suporte a aplicativos.
  • Ferramentas poderosas de teste móvel.
  • Reduz os requisitos de sistemas e a intervenção humana.
  • O LoadRunner oferece registro e reprodução ou script.
  • Ferramenta de rastreamento de utilização efetiva.
  • Execução de ponto único.
  • Uso ideal do farm de gerador de carga.
  • O LoadRunner detecta com rapidez e precisão a causa raiz dos problemas de desempenho do aplicativo.

Alguns desvantagens do LoadRunner:

  • Vários cenários específicos não podem ser iniciados a partir da linha de comando.
  • Requer suporte contínuo para assistência técnica durante a execução.
  • Um monte de espaço em disco é necessário para a instalação do LoadRunner.
  • O Controlador e o VUGen funcionam apenas no Windows.

Rational Performance Tester pela IBM
rational_perfomance_tester_ibm
O Rational Performance Tester (RPT) é uma ferramenta de teste de desempenho e carga desenvolvida pela IBM Corporation. Ele pode ser usado para um aplicativo da Web ou um aplicativo baseado em servidor onde há um processo de entrada e saída envolvido. O RPT cria uma demonstração do processo de transação original entre o usuário e o serviço da web.

Chave méritos do Rational Performance Tester:

  • Uma ampla base de aplicativos como HTTP, SAP, Siebel, SIP, TCP Socket e Citrix são suportados.
  • Nenhum conhecimento de programação especial é necessário.
  • Ele fornece o diagnóstico dos servidores de aplicativos Websphere e Weblogic.
  • Ele é executado com grandes casos de teste de vários usuários.
  • Relatório em tempo real para identificação imediata de problemas de desempenho.
  • O agendamento de teste gráfico flexível onde a carga pode ser especificada por grupos proporcionais de usuários.
  • Suporte de ambiente e plataforma.
  • Os intervalos amplos das ferramentas de análise de causa raiz.

Alguns deméritos  do Rational Performance Tester:

  • Aumento ou diminuição de recursos não é possível no Rational Performance Tester.
  • Não suporta aplicações baseadas em Java Applet.
  • Não há capacidade de agendamento.

BlazeMeter
blazemeter
O BlazeMeter é uma das plataformas mais utilizadas para o teste de carga. É oferecido em edições gratuitas e comerciais. Você pode executar no máximo 10 testes com no máximo 50 usuários gratuitamente. O único gerador de carga está disponível na versão gratuita do Blazemeter.

Chave características  do Blazemeter:

  • O Blazemeter é 100% compatível com o Apache JMeter.
  • É facilmente integrado com outras ferramentas populares de código aberto: Selenium, Locust e Gatling.
  • Existe a capacidade de executar casos de teste com até 1 milhão de usuários.
  • Existe o acesso direto ao Blazemeter da web.
  • O tráfego de dispositivos móveis com intensidade de sinal variada e várias redes pode ser simulado pelo Blazemeter.
  • Teste baixo escalável de qualquer lugar.
  • Você pode baixar os resultados dos testes para uso off-line.
  • Ele suporta testes do Sandbox para validar os scripts para o número limitado de usuários pelo tempo limitado.
  • O Blazemeter possui relatórios altamente personalizados e bem ilustrados que são fáceis de compartilhar.
  • Uma capacidade de modificar o carregamento através do Grupo de Encadeamentos de Concorrência ou usando o método “Limitar RPS”.
  • JMeter plugin para o suporte Flex.
  • Plugin HLS para HLS para Video Streaming e Video on demand.

Alguns de Blazemeter limitações:

  • Os casos de teste de resistência são limitados pelo tempo na edição gratuita.

NeoLoad por Neotys
neoload
NeoLoad é a ferramenta popular para analisar o desempenho do site ou aplicativo sob a carga pesada. Ele trabalha com a alta eficiência tanto com aplicativos de desktop quanto móveis. O NeoLoad é escrito em Java. A execução do caso de teste para não mais de 50 usuários virtuais é gratuita.

o características principais  e os benefícios do NeoLoad são:

  • Suporta as mais recentes tecnologias web e móveis.
  • Os recursos de plataforma cruzada do NeoLoad permitem que as cargas sejam geradas em uma ampla variedade de plataformas (Unix, Windows, Linux …).
  • O NeoLoad obtém um resumo da execução do caso de teste e, em seguida, examina seus detalhes usando os gráficos e as tabelas estatísticas. Estatísticas são obtidas de seus servidores (CPU, memória, etc).
  • Os cenários de teste do mundo real ajudam você a detectar problemas de desempenho antecipadamente.
  • A integração na nuvem, o monitoramento ao vivo e a integração real de dispositivos são suportados não apenas no Android ou no iOS, mas também no Windows Phone e no Blackberry.
  • Uma interface gráfica ergonômica que reduz o tempo de execução do teste.
  • Existe a capacidade de definir o comportamento do usuário virtual e definir parâmetros de cenário, como a política de carga (constante, aumento de velocidade, pico ou personalizada) ou o número de usuários virtuais a serem simulados no teste.
  • Suporta conversão de script Selenium
  • Monitores de desempenho (CPU, memória, uso de disco e assim por diante) são definidos para seus servidores.
  • O conteúdo da página é verificado sob a carga.
  • Existe a capacidade de gravar qualquer aplicativo móvel diretamente de qualquer dispositivo móvel com o modo proxy ou o modo de túnel DNS.
  • Ele registra o tráfego HTTP entre o navegador e o servidor.

Alguns desvantagens  de NeoLoad:

  • Não funciona no Mac OSX.
  • Não há página de acesso DOM
  • Não há nenhuma facilidade para criar transações de início e fim para capturar o tempo de resposta.

LoadUI por SmartBear
loadUI
LoadUI é a famosa ferramenta usada principalmente para o teste de carga de serviços da web. Ele é distribuído tanto na versão gratuita quanto na versão licenciada. Se você quiser usá-lo com maior eficiência, você deve usá-lo com outro produto SmartBear gratuito SoapUI.
O principal vantagens  de LoadUI:

  • Múltiplas estratégias de desempenho.
  • Arraste e solte a interface.
  • Suporte API.
  • Execução de teste de carga paralela e isolada.
  • Feedback em tempo real sobre os resultados de seus casos de teste.
  • A capacidade de adicionar novos dados, mesmo quando o aplicativo está sendo testado.
  • Interface atualizada automaticamente.
  • Funciona com o sistema operacional principal.
  • Relatórios visuais LoadUI são apresentados em um formato gráfico muito fácil de entender.
  • Existe a capacidade de criar, configurar e modificar casos de teste durante a execução.

Alguns pontos fracos  do LoadUI:

  • Scripts criados em versões Pro não podem ser usados em versões gratuitas.
  • Projetos antigos podem ser importados com algumas limitações.
  • É fraco e limitado para testes de carga da web.

CloudTest por Soasta
CloudTest por Soasta
O CloudTest é a ferramenta abrangente para fornecer testes de carga e desempenho de aplicativos e aplicativos para web e dispositivos móveis. Pode ser hospedado em um ou mais servidores físicos, bem como na nuvem.

Os provedores de serviços em nuvem Amazon Web Services e Rackspace são usados pelo CloudTest para simulação de tráfego.

CloudTest Lite é sua versão de avaliação gratuita. Claro, há muitas limitações nesta edição:

  • Nenhum suporte 24/7.
  • Não há geração de carga global baseada na nuvem
  • O número máximo de usuários virtuais simultâneos é de 100 pessoas.
  • Apenas um gerador de carga pode ser usado, etc.

De qualquer forma, isso é poderoso até na versão gratuita.

O principal vantagens  do CloudTest:

  • Ele fornece testes de desempenho móvel de ponta a ponta.
  • Análise em tempo real.
  • Os casos de teste são rapidamente construídos, editados, executados e analisados.
  • É fácil integrar com o JMeter e outras ferramentas de teste automatizadas usadas com frequência.
  • A alta precisão da simulação de tráfego de usuários da Web e móveis.
  • Oferece relatórios de desempenho de 360 ° do monitoramento real do usuário.
  • Existe a capacidade de adicionar ou descartar usuários durante a execução do caso de teste.

Alguns desvantagens do CloudTest:

  • A edição gratuita é muito limitada.
  • A configuração do SLA não está disponível no CloudTest.
  • Não há recursos de controle de hardware.
  • Não há capacidade de usar o CloudTest para aplicativos baseados em automação Flex, Multimídia ou Silver.

LoadStorm
logotipo do loadstorm
O LoadStorm é a ferramenta fácil de usar e econômica que pode ser usada para testes de carga da Web e de aplicativos móveis. Tem código aberto e edições comerciais. Você pode executar casos de teste com no máximo 50 usuários virtuais gratuitamente.

Chave do LoadStorm características:

  • Nenhuma instalação especial é necessária.
  • Demora alguns minutos para gravar um script.
  • Plataforma de nuvem distribuída em todo o mundo para o caso de teste em execução
  • Relatórios bem personalizados.
  • Analytics no modo em tempo real.
  • Inteligência de desempenho durante a execução de casos de teste.
  • Suporte on-line constante
  • Ele fornece distribuição geográfica de tráfego.

Alguns desvantagens  do LoadStorm:

  • O LoadStorm pode testar apenas aplicativos da web que podem ser acessados na nuvem da Amazon.
  • OS Windows é necessário para o seu uso.

Medidor inteligente
ferramentas de teste de carga smartmeter
O Smart Meter tem a versão gratuita muito poderosa, embora seja uma ferramenta comercial de teste de carga e desempenho. Ao contrário de outras ferramentas comerciais da nossa lista, você tem a capacidade de executar casos de teste com 50 usuários virtuais gratuitamente. Além disso, você tem dois geradores de carga para o seu teste.

As principais vantagens do SmartMeter:

  • Os relatórios de teste, que são gerados automaticamente, contêm todas as informações sobre o teste e seus resultados.
  • Registrador de cenário de teste multifuncional.
  • Existe a capacidade de fornecer testes de carga de diferentes locais.
  • É fácil integrar com Jenkins, Bamboo, Maven etc.
  • Vários monitores exibem resultados de execução de casos de teste no modo de tempo real.
  • Existe a capacidade de combinar casos de teste de carga com o Selenium.
  • Monitoramento permanente do ambiente de teste.

Algumas limitações do SmartMeter:

  • Não é fácil aprender ferramenta.
  • O tempo máximo de execução do caso de teste na versão gratuita é de apenas 15 min.

Ferramentas de teste totalmente comerciais

Finalmente, ferramentas comerciais com apenas versão paga serão consideradas. Naturalmente, todos eles têm um curto período de teste gratuito. Mas isso não pode ser definido como edições de código aberto.

Artista de Seda da Micro Focus
silk_performer
O Silk Performer (anteriormente conhecido como Borland) é a ferramenta poderosa para o teste de carga de aplicativos da Web, móveis e empresariais. Isso ajuda a identificar os pontos fracos do aplicativo sob a carga máxima do cliente, usando diagnósticos integrados e relatórios de tendências.

Chave características  do Silk Performer:

  • Suporta todos os principais ambientes web: HTML5, AJAX, Web Design Responsivo, Adobe Flash / Flex e Microsoft Silverlight.
  • Uma ampla variedade de ferramentas de teste de aplicativos móveis e da Web para dispositivos móveis.
  • Recursos mínimos de hardware são necessários para a simulação do usuário virtual.
  • Ele gera relatórios bem personalizados com tabelas e gráficos.
  • O Silk Performer possui correlação e parametrização fáceis de usar.
  • Suporta monitoramento integrado de servidores.
  • A análise de causa raiz visual ajuda a detectar os gargalos.
  • Tem as correlações de script simples.
  • Escalabilidade de nuvem ilimitada.
  • Existe a capacidade de testar seus aplicativos em várias plataformas móveis e padrões de conexão: iOS, Android, BlackBerry, GPRS, HSPA +, EDGE e LTE.

Alguns pontos fracos  do Silk Performer:

  • Há uma integração deficiente com ferramentas de diagnósticos profundos para monitoramento de desempenho de ponta a ponta.
  • Foi concebido apenas para o Windows.
  • Muita memória é necessária para o teste de carga com o Silk Performer.
  • Pode haver um problema com a configuração do padrão de desaceleração.

WAPT
ferramentas de teste de carga wapt
O WAPT é a ferramenta popular, que é igualmente eficaz para serviços web de teste de carga, aplicativos móveis e todos os tipos de sites, desde e-shops até sistemas corporativos de ERP e CRM.

Fazendo apenas alguns cliques, você pode criar e executar casos de teste com milhares de usuários virtuais. O WAPT permite que você controle como personalizar esses usuários virtuais.

O principal méritos  de WAPT:

  • É fácil de instalar.
  • Teste rápido de gravação e design.
  • O WAPT suporta tecnologias RIA e aplicativos móveis.
  • Relatório de erros avançado com base em indicadores diferentes: erros de nível de rede, códigos de resposta HTTP, tempos limite, atrasos de servidor e validação de resposta pelo conteúdo da página.
  • Testes de segurança de sites.
  • Existe a capacidade de incluir a execução do código JavaScript nos perfis de usuários virtuais.
  • Relatórios bem ilustrados e detalhados estão disponíveis mesmo no tempo de execução.
  • Visualizador de log integrado permite que você navegue passo a passo a cada sessão executada.

Deméritos  de WAPT:

  • OS Windows é necessário para instalar esta ferramenta.
  • O WAPT não possui capacidade de script.

Testando em qualquer lugar pela Automation Anywhere

O Testing Anywhere se concentra nos testes de carga de sites, controles, objetos e front-ends da GUI.

Existem cinco métodos de criação de casos de teste  no teste em qualquer lugar:

  • Gravação na web
  • Gravação de objetos
  • Reconhecimento de imagem
  • Gravação inteligente
  • editor

Chave características do teste em qualquer lugar:

  • Nenhum conhecimento de programação é necessário.
  • Casos de teste são facilmente construídos e editados.
  • Existe a capacidade de realizar testes de migração.
  • Automação de casos de teste visual
  • Identificação automática de objetos de linguagem. Funciona com Java, Net, WPF, Silverlight, HTML, Flash e Flex.
  • O Testing Anywhere oferece a plataforma única para testes.

Alguns limitações  do teste em qualquer lugar:

  • Ele suporta o único sistema operacional Windows.
  • Pode haver alguns problemas com o teste de aplicativos para iOS.
  • A plataforma de teste não é fornecida para aplicativos escritos nos idiomas mais antigos.

Carregamento do StormRunner pela Hewlett Packard Enterprise
caçador de tempestades
O StormRunner Load é a mais recente ferramenta de teste de carga entre os produtos oferecidos pela Hewlett Packard Enterprise. Pode ser usado tanto para testes na web quanto em dispositivos móveis. O StormRunner é o serviço baseado em nuvem / SaaS, que facilita o acesso e a alavancagem.

StormRunner vantagens:

  • É fácil e simples de usar.
  • Os protocolos HTTP / HTML (web e móvel), SAP Web, Java, Flex, TruClient Web, TruClient Native Mobile e TruClient Mobile Web são suportados pelo StormRunner.
  • Interface minimalista e responsiva.
  • Alta escalabilidade. Existe a capacidade de executar casos de teste com mais de um milhão de usuários da Web e móveis distribuídos geograficamente.
  • Usuários virtuais podem ser removidos ou adicionados durante a execução do caso de teste.
  • A infraestrutura de teste de carga é implantada automaticamente.
  • Ele tem uma forte integração com o Jenkins, o Dynatrace, o Gatling, o Docker, o AWS Code Pipeline e o New Relic.
  • Existe uma capacidade de desativação dos servidores do centro de desempenho.
  • Oferece geradores de carga em várias localizações geográficas diferentes.
  • Detecção rápida do problema.
  • Relatório analítico bem personalizado via Virtualização de Rede.

Alguns limitações  do StormRunner:

  • Não há capacidade de usar análise de rede com scripts JMeter.
  • Não há FTP para uploads em massa.
  • Não há opção para agendar testes para começar em uma data posterior.
  • Recursos que não sejam scripts não puderam ser anexados.

Então, agora você está informado sobre as melhores ferramentas para o teste de carga. Como você leu, todos eles têm seus próprios méritos e limitações do uso. Alguns deles são preferíveis para pequenas equipes, outras para grandes empresas de desenvolvimento. De qualquer forma, depende de variedades de fatores que um deve ser escolhido na situação particular.

Você concorda com a nossa lista? Talvez você saiba que a ferramenta merece um lugar na nossa classificação. Compartilhe suas opiniões e experiências nos comentários abaixo.

TOP 20 herramientas para pruebas de carga en 2018

Yana Gusti 08/07/2019

Las mejores herramientas para la prueba de carga se considerarán en este artículo. Aquí puede encontrar información sobre herramientas gratuitas y comerciales para que sus pruebas de carga sean más efectivas.

Herramientas gratuitas de prueba de carga

Empecemos por las herramientas distribuidas totalmente gratuitas.

Apache JMeter ™

Apache JMeter

Apache JMeter es la herramienta de código abierto más utilizada para las pruebas de carga. JMeter originalmente fue diseñado para probar aplicaciones web o aplicaciones FTP. Actualmente, también se puede utilizar para la prueba funcional, la prueba del servidor de la base de datos, etc. JMeter no requiere una infraestructura de vanguardia para las pruebas de carga y brinda soporte para múltiples inyectores de carga administrados por un solo controlador.

Consideremos cómo suele funcionar. El flujo de trabajo de JMeter completado se ilustra en la siguiente imagen.

El flujo de trabajo completado de JMeter como se muestra en la figura a continuación
Las principales características y ventajas de JMeter.

Precio. JMeter es la herramienta de código abierto, que permite que todos utilicen el código fuente para el desarrollo.

Independencia de la plataforma.Como JMeter es una aplicación de escritorio 100% Java, por lo que puede ejecutarse en múltiples plataformas.

Instalación.No se necesita ninguna instalación especial. Todo lo que debe hacer para ejecutar JMeter es copiar y ejecutar el archivo * .bat.

GUI amigable (interfaz gráfica de usuario). En realidad, se podría usar en 3 modos: modo GUI, modo servidor y modo de línea de comandos. Se necesita un poco de tiempo para familiarizarse con JMeter GUI.

Visualización de resultados de casos de prueba. El resultado de la prueba se puede mostrar de diferentes formas: tabla, gráfico, archivo de registro y árbol.

Marco multi-threading. JMeter ayuda a proporcionar el muestreo paralelo y simultáneo de diferentes funciones por un grupo de hilos separado.

Alto nivel de extensibilidad.Tienes la capacidad de escribir tus propios casos de prueba. Además, se admiten complementos de visualización especiales para extender sus pruebas.

Simulación.JMeter permite simular múltiples usuarios con subprocesos paralelos y crear una carga pesada contra la aplicación web bajo prueba.

Soporte multiprotocolo. Es compatible con todos los protocolos básicos, como HTTP, SOAP, LDAP, JDBC, JMS y FTP.

Prueba de guión.Jmeter se puede integrar con Selenium y Bean Shell para realizar pruebas automatizadas.

“Grabar” y “ReproducirGrabar “opciones. La actividad del usuario en el navegador podría grabarse y simularse en la aplicación web utilizando JMeter.

Soporte integrado en tiempo real. Los colectores Apache Tomcat permiten realizar monitoreos en tiempo real.

Fácil integración continua con bibliotecas de código abierto. JMeter está integrado con bibliotecas de código abierto para Jenkins, Maven y Gradle.

JMeter también tiene algunos puntos débiles:

  • No hay capacidad para grabar la comunicación HTTPS.
  • No es capaz de monitorizar estadísticas relacionadas con el servidor de aplicaciones.
  • No hay opción de la intercepción de tráfico AJAX.
  • Las características muy limitadas del marco de informes.

El molinillo
el logotipo de la amoladora
El Grinder es otro marco popular basado en Java para pruebas de carga. Jython, la implementación especial de Java de Python, es el lenguaje de script predeterminado. Testsripst también podría ser escrito en Clojure.

Las partes principales de The Grinder:

  • La consola de Grinder es el entorno de desarrollo interactivo básico (IDE) para el desarrollo y edición de suites de prueba. Supervisa los resultados en tiempo real y controla varios agentes de The Grinder.
  • Los Agentes Grinder Son los generadores especiales de carga sin cabeza. Pueden tener un número de trabajadores para crear la carga.

Puede ver el sistema bajo la prueba de carga en The Grinder en la siguiente imagen.

el molino de carga tseting
El Grinder características clave:

  • El Grinder es la herramienta multiplataforma. Se puede ejecutar en cualquier lugar donde pueda configurar una máquina virtual Java.
  • Soporte de múltiples protocolos.
  • Desarrollo de script rápido y poderoso
  • Gráficos de rendimiento simples y deslizantes para todas las transacciones en una pestaña.
  • Los usuarios tienen la capacidad de escribir los propios complementos en una interfaz documentada
  • Parametrización flexible.
  • El usuario tiene la capacidad de cargar la API de Java como una prueba desde servidores web HTTP, SOAP y servicios REST.
  • The Grinder ofrece mucha flexibilidad para cargar y ejecutar bibliotecas de terceros.

Integración con Jira.

El Grinder desventajas:

  • Las fallas de memoria podrían estar en los escenarios de descarga de archivos grandes.
  • La consola Grinder no puede ajustar dinámicamente los niveles de la carga generada por los agentes.
  • No hay herramientas de análisis adicionales especiales.
  • El conocimiento especial de Jython o Clojure es necesario.

Gatling
Logo de gatling
Gatling es la poderosa “arma” basada en Scala para pruebas de carga. Tiene dos ejecutables: uno para el registro de casos de prueba y el otro para la ejecución de casos de prueba.

En realidad, la estructura de Gatling se define en cuatro partes:

  • Configuración del protocolo HTTP ayuda a definir la URL base contra la que ejecutará sus pruebas. Además de eso, el agente de usuario, el encabezado de idioma y la conexión también podrían definirse.
  • Definición de encabezado sproporciona los encabezados para la solicitud que se envía al servidor.
  • Definición de escenario especifica un grupo de acciones que se ejecutarán para simular la interacción de un usuario con su aplicación.
  • Definición de simulación tiene como objetivo especificar el número de usuarios que ejecutarán simultáneamente el escenario de carga durante un período de tiempo determinado.

los principales características del Gatling:

  • Funciona con cualquier sistema operativo y cualquier navegador.
  • Gatling admite informes gráficos coloridos e informativos que contienen información valiosa para el análisis.
  • Puede ejecutar sus casos de prueba en diferentes nubes de prueba.
  • Gatling podría integrarse fácilmente con Jenkins a través del complemento Jenkins y realizar sus pruebas a través de Gradle y Maven con la ayuda del complemento Maven y el complemento Gradle.
  • Gatling utiliza una pequeña cantidad de memoria.
  • Reduce el tiempo de fase de depuración.
  • Los errores e inconvenientes se detectan en la primera parte del ciclo de desarrollo.

El Gatling desventajas:

  • API ha cambiado radicalmente Por lo tanto, hay un problema con la ejecución de casos de prueba escritos en la versión anterior.
  • Gatling no le permite distribuir la carga entre máquinas.
  • No se puede escalar horizontalmente.

Langosta


Locust es una suite de prueba de carga distribuida y basada en código construida en Python. A menudo se usa para sitios web de prueba de carga (u otros sistemas) e indica cuántos usuarios simultáneos puede manejar un sistema.

Langosta basada en la idea original. De acuerdo con esto, el enjambre de langostas atacará su sitio web durante la prueba. Puede definir el comportamiento de cada langosta (usuario). El proceso de enjambre se monitorea desde una interfaz de usuario web en tiempo real y le ayuda a identificar los puntos débiles de su código.

La llave de la langosta caracteristicas:

  • Cualquier sistema puede ser probado con Locust.
  • Es la herramienta multiplataforma y fácilmente extensible.
  • Cientos de miles de comportamientos de los usuarios se pueden simular con Locust.
  • Locust tiene el código muy reutilizable.
  • Tiene el alto nivel de personalización. Existe la posibilidad de combinar varias solicitudes en un solo escenario agrupando las solicitudes con puntos personalizados específicos.

los limitaciones de la langosta:

  • La pérdida de estadísticas. Locust recopila y muestra estadísticas hasta que se alcanza el número de usuarios solicitado. Después de eso, todas las estadísticas se reinician y comienza a reunir otras nuevas.
  • Pruebas en Locust nunca se detienen. No hay capacidad para decirle cuántos hits debe simular cada usuario.
  • No obtiene todos los recursos disponibles. Por ejemplo, Locust no solicitará una URL a menos que usted le indique explícitamente que haga esto.

ApacheBench (ab) – Herramienta de evaluación comparativa del servidor HTTP Apache

ApacheBench
ApacheBench es probablemente la herramienta más simple para pruebas de carga. Es el programa de línea de comandos, que fue diseñado originalmente para las pruebas del servidor HTTP Apache. De hecho, ApacheBench podría ser eficaz para probar cualquier servidor web.

Si usted es usuario de macOS o Linux, ya lo tiene en su computadora. Si su sistema operativo es Windows, simplemente instale Apache y verá ab.exe en tus apache / bin carpeta.

El principal méritos del ApacheBench:

  • Es fácil de usar y fácil de aprender la herramienta.
  • No se necesita ninguna instalación adicional.
  • ApacheBench es la herramienta rentable y que ahorra tiempo.
  • Existe la posibilidad de establecer el número total de solicitudes, el número de consultas paralelas ejecutadas y el límite de tiempo para todas las consultas.

Deméritos del ApacheBench:

  • Mala funcionalidad.
  • No hay capacidad para evaluar el desempeño del proyecto desde todos los lados.
  • El protocolo HTPS no es compatible.

Tauro
Tauro
Taurus es la plataforma de prueba de herramientas múltiples de código abierto desarrollada por BlazeMeter. Tauro significaTestAutomacionRuNningScon calma La idea principal de su creación fue hacer cumplir las herramientas de prueba de carga libre existentes como JMeter, Selenium, Grinder y Gatling.

El principal ventajasde los Tauro:

  • Tauro tiene la configuración y actualización simple.
  • YAML o JSON facilitan la creación de versiones de scripts.
  • Taurus es fácil de combinar con JMeter, Selenium, Grinder y Gatling, expandiendo significativamente sus capacidades.
  • Los informes en tiempo real están disponibles durante la ejecución del caso de prueba.
  • Los scripts preexistentes podrían usarse en el Taurus.
  • Está cerrado integrado con el BlazeMeter.
  • Los criterios flexibles de aprobación / falla se definen de una manera fácil.
  • Taurus se ejecuta en todos los lugares donde Python y Java pueden ejecutarse.
  • Se integra en herramientas de CI como Jenkins.

Algunos desventajas de los Tauro:

  • Tauro es la herramienta de uso intensivo de recursos.
  • Cambiar la configuración del hardware está fuera de su alcance.
  • Los casos de prueba de resistencia de larga duración no son compatibles.

Siege de Joe Dog
siege_joe_dog
Siege es la utilidad especial para la prueba de carga del protocolo HTPP y HTPS. También se puede utilizar como la herramienta de evaluación comparativa del servidor web. Siege es la herramienta basada en GNU / Linux, pero ahora se ha portado con éxito a AIX, Solaris, HP-UX y BSD.

La llave del asedio caracteristicas:

  • HTTP, HTTPS, protocolos FTP, cookies y autenticación simple son compatibles.
  • Es fácil compilar en un sistema operativo basado en Unix.
  • El asedio es la herramienta multiproceso.
  • Existe una capacidad de emulación de carga de usuarios.
  • Se puede ejecutar con varias direcciones IP desde la misma máquina.
  • La ejecución de casos de prueba de escenario simple es compatible.

Algunos puntos débiles del asedio:

  • No se pudo ejecutar en Windows. Aunque, puedes usar Cygwin para hacerlo.
  • El asedio es la herramienta de uso intensivo de recursos.
  • No es adecuado para pruebas serias y de gran escala en cientos y miles de subprocesos.

Herramientas comerciales de prueba de carga con ediciones gratuitas.

El siguiente grupo de herramientas de prueba de carga que vamos a considerar son las herramientas comerciales que tienen ediciones gratuitas. Por supuesto, casi las herramientas más comerciales para pruebas de carga tienen el período de prueba gratuito. Pero en este capítulo, hablaremos sobre las herramientas de prueba de carga, que tienen algún tipo de ediciones gratuitas.

Como regla general, existen diferentes tipos de limitaciones en el uso de estas herramientas de prueba de carga. Por ejemplo, la cantidad de usuarios, la cantidad de casos de prueba ejecutados por mes, el tiempo de duración de la prueba, etc.

Opiniones de webLOAD
webload
WebLOAD es la herramienta de análisis y prueba de carga distribuida por RadView Software. Es una herramienta realmente poderosa y efectiva para las pruebas de aplicaciones web, así como para las pruebas móviles. Los casos de prueba se generan en JavaScript y se pueden mejorar y editar utilizando varias herramientas en el IDE.

WebLOAD se distribuye tanto de forma gratuita como comercial. Cabe mencionar que WebLOAD Free Edition incluye casi todas las características de la versión comercial. Las limitaciones se refieren al número de usuarios virtuales (máximo 50 personas) y alguna excepción para Oracle Forms, Flex / AMF, funciones de transmisión / multimedia.

Entonces, los equipos pequeños tienen la habilidad de usar sus características. Éstos son algunos de ellos:

  • Soporte de tecnología web importante.
  • El usuario tiene la capacidad de generar carga en las instalaciones o en la nube.
  • Los asistentes de UI te ayudan a mejorar el script.
  • Los paneles de análisis de WebLOAD proporcionan más de 80 plantillas de informes configurables.
  • El usuario tiene la capacidad de compartir resultados de ejecución de casos de prueba entre equipos distribuidos.
  • WebLOAD se puede integrar fácilmente con muchas herramientas populares: Selenium, Jenkins, Perfecto Mobile, New Relic y Dynatrace, etc.
  • Los posibles cuellos de botella se detectan automáticamente.
  • Una amplia gama de herramientas de prueba móviles.
  • Combinación de on-premise y carga virtual de usuarios en la nube.
  • El soporte al cliente de alto nivel.
  • Potente motor de correlación.

Algunos puntos débiles de la WebLOAD:

  • No hay soporte de Citrix.
  • WebLOAD se enfoca principalmente en desarrolladores que en especialistas en control de calidad. Por lo tanto, se requieren habilidades técnicas especiales para su configuración.
  • La actualización no puede utilizar scripts anteriores.
  • SAP GUI no es compatible.

Probador de rendimiento HP (LoadRunner)
LoadRunner
Loadrunner de Hewlett-Packard Enterprise es una de las herramientas de prueba de carga más utilizadas.

loscomponentesde LoadRunner:

  • losGenerador de usuario virtual (VuGen) está destinado a grabar un script y permite desarrollar scripts de Vuser (usuario virtual) para varios tipos de aplicaciones y protocolos de comunicación.
  • los Controlador Es el componente principal para controlar la simulación de carga.
  • Agentes Maquinas (Generadores de Carga o Inyectores de Carga) son las máquinas virtuales repartidas entre los usuarios.
  • Análisis y monitoreo de LoadRunner Es el rendimiento detallado de sus casos de prueba.
  • Libros de LoadRunner en línea Son los materiales de estudio completos para HP LoadRunner.

los partes principales del proceso de prueba de carga en el LoadRuner:

  • Prueba de carga plan
  • Crear Vuser Scripts
  • Definir escenario
  • Ejecutar escenario
  • Analizar resultados

LoadRunners ventajas:

  • Simulación interactiva de transacciones de usuario.
  • Una amplia gama de aplicaciones de soporte.
  • Potentes herramientas de prueba móviles.
  • Reduce los requisitos de los sistemas y la intervención humana.
  • LoadRunner ofrece grabación y reproducción o scripting.
  • Herramienta de seguimiento de utilización eficaz.
  • Ejecución de un solo punto.
  • Uso óptimo de la granja generadora de carga.
  • LoadRunner detecta de forma rápida y precisa la causa raíz de los problemas de rendimiento de la aplicación.

Algunos desventajasdel LoadRunner:

  • No se pueden iniciar varios escenarios específicos desde la línea de comandos.
  • Requiere soporte continuo para asistencia técnica durante la ejecución.
  • Se requiere mucho espacio en disco para la instalación de LoadRunner.
  • El controlador y VUGen solo funcionan en Windows.

Rational Performance Tester por IBM
racional_perfomance_tester_ibm
Rational Performance Tester (RPT) es una herramienta de prueba de rendimiento y carga desarrollada por IBM Corporation. Se puede usar para una aplicación web o una aplicación basada en servidor donde hay un proceso de entrada y salida involucrado. RPT crea una demostración del proceso de transacción original entre el usuario y el servicio web.

Llave méritosdel Rational Performance Tester:

  • Se admite una amplia base de aplicaciones como HTTP, SAP, Siebel, SIP, TCP Socket y Citrix.
  • No se requieren conocimientos especiales de programación.
  • Proporciona los diagnósticos de los servidores de aplicaciones Websphere y Weblogic.
  • Se ejecuta con grandes casos de prueba de múltiples usuarios.
  • Reportes en tiempo real para la identificación inmediata de problemas de desempeño.
  • El horario de prueba gráfico flexible donde la carga se puede especificar por grupos proporcionales de usuarios.
  • Medio ambiente y soporte a la plataforma.
  • Los amplios rangos de las herramientas de análisis de causa raíz.

Algunos deméritos del Rational Performance Tester:

  • No es posible aumentar o disminuir los recursos en Rational Performance Tester.
  • No es compatible con aplicaciones basadas en Java Applet.
  • No hay capacidad para programar.
[/youtubevideo video]]

BlazeMeter
blazemeter
BlazeMeter es una de las plataformas más utilizadas para las pruebas de carga. Se ofrece tanto en ediciones gratuitas como comerciales. Puede ejecutar un máximo de 10 pruebas con no más de 50 usuarios de forma gratuita. El único generador de carga está disponible en la versión gratuita de Blazemeter.

Llave caracteristicas del Blazemeter:

  • Blazemeter es 100% compatible con Apache JMeter.
  • Se integra fácilmente con otras herramientas populares de código abierto: Selenium, Locust y Gatling.
  • Existe la posibilidad de ejecutar casos de prueba con hasta 1 millón de usuarios.
  • Existe el acceso directo al Blazemeter desde la web.
  • Blazemeter puede simular el tráfico de dispositivos móviles con intensidades de señal variadas y varias redes.
  • Pruebas bajas escalables desde cualquier lugar.
  • Puede descargar los resultados de las pruebas para usar sin conexión.
  • Admite pruebas de Sandbox para validar los scripts para un número limitado de usuarios durante un tiempo limitado.
  • Blazemeter tiene informes altamente personalizados y bien ilustrados que son fáciles de compartir.
  • La capacidad de modificar la carga a través del grupo de subprocesos concurrentes o mediante el método “Limitar RPS”.
  • JMeter plugin para el soporte de Flex.
  • HLS plugin para HLS para transmisión de video y video a pedido.

Algunos de Blazemeter’s limitaciones:

  • Los casos de prueba de resistencia están limitados por el tiempo en la edición gratuita.

[youtube_video url = "https://www.youtube.com/watch?v=6Oih-v-LICE" width = "100%" height = "400px"]

NeoLoad de Neotys
neoload
NeoLoad es la herramienta popular para analizar el rendimiento del sitio web o la aplicación bajo una carga pesada. Funciona con la alta eficiencia tanto en aplicaciones de escritorio como móviles. NeoLoad está escrito en Java. La ejecución de casos de prueba para no más de 50 usuarios virtuales es gratuita.

los características clave y los beneficios de NeoLoad son:

  • Es compatible con las últimas tecnologías web y móviles.
  • Las capacidades multiplataforma de NeoLoad permiten que las cargas se generen en una amplia variedad de plataformas (Unix, Windows, Linux …).
  • NeoLoad obtiene un resumen de la ejecución del caso de prueba y luego examina sus detalles utilizando los gráficos y tablas estadísticas. Las estadísticas se obtienen de sus servidores (CPU, memoria, etc.).
  • Los escenarios de prueba del mundo real le ayudan a detectar problemas de rendimiento en una etapa temprana.
  • La integración en la nube, el monitoreo en vivo y la integración de dispositivos reales son compatibles no solo en Android o iOS, sino también en Windows Phone y Blackberry.
  • Una interfaz gráfica ergonómica que reduce el tiempo de ejecución de la prueba.
  • Existe la capacidad de definir el comportamiento del usuario virtual y establecer parámetros de escenario, como la política de carga (constante, aceleración, pico o personalizado) o la cantidad de usuarios virtuales que se simularán en la prueba.
  • Es compatible con la conversión de secuencias de comandos Selenium
  • Los monitores de rendimiento (CPU, memoria, uso de disco, etc.) están configurados para sus servidores.
  • El contenido de la página se comprueba bajo la carga.
  • Existe la posibilidad de grabar cualquier aplicación móvil directamente desde cualquier dispositivo móvil con el modo proxy o el modo de túnel DNS.
  • Registra el tráfico HTTP entre el navegador y el servidor.

Algunos inconvenientes de NeoLoad:

  • No funciona en Mac OSX.
  • No hay página de acceso DOM
  • No existe la posibilidad de crear transacciones de inicio y finalización para capturar el tiempo de respuesta.

LoadUI de SmartBear
loadUI
LoadUI es la famosa herramienta utilizada principalmente para las pruebas de carga de servicios web. Se distribuye tanto en versión gratuita como con licencia. Si desea usarlo con mayor eficiencia, debe usarlo con otro producto SmartBear gratuito. SoapUI.
El principal ventajas de LoadUI:

  • Múltiples estrategias de desempeño.
  • Interfaz de arrastrar y soltar.
  • Soporte API
  • Ejecución de pruebas de carga paralela y aislada.
  • Comentarios en tiempo real sobre los resultados de sus casos de prueba.
  • La capacidad de agregar nuevos datos incluso mientras se prueba la aplicación.
  • Interfaz actualizada automáticamente.
  • Funciona con el principal sistema operativo.
  • Los informes visuales de LoadUI se presentan en un formato gráfico muy fácil de entender.
  • Existe la capacidad de crear, configurar y modificar casos de prueba durante la ejecución.

Algunospuntos débiles de la LoadUI:

  • Los scripts creados en versiones Pro no se pueden usar en versiones gratuitas.
  • Los proyectos antiguos se podrían importar con algunas limitaciones.
  • Es débil y limitado para pruebas de carga web.

CloudTest de Soasta
CloudTest de Soasta
CloudTest es la herramienta integral para proporcionar pruebas de carga y rendimiento de aplicaciones web y móviles. Se puede alojar en uno o más servidores físicos, así como en la nube.

CloudTest utiliza los proveedores de servicios en la nube de Amazon Web Services y Rackspace para la simulación del tráfico.

CloudTest Lite es su versión de prueba gratuita. Por supuesto, hay muchas limitaciones en esta edición:

  • No soporte 24/7.
  • No hay generación de carga global basada en la nube
  • El número máximo de usuarios virtuales concurrentes es de 100 personas.
  • Solo se podría usar un generador de carga, etc.

De todos modos, esto es poderoso incluso en la versión de edición gratuita.

El principal ventajas del CloudTest:

  • Proporciona pruebas de rendimiento móvil de extremo a extremo.
  • Analítica en tiempo real.
  • Los casos de prueba se construyen, editan, ejecutan y analizan rápidamente.
  • Es fácil de integrar con JMeter y otras herramientas de prueba automatizadas de uso frecuente.
  • La alta precisión del tráfico de usuarios móviles y web de simulación.
  • Ofrece informes de rendimiento de 360 ° del monitoreo real del usuario.
  • Existe la posibilidad de agregar o eliminar usuarios durante la ejecución del caso de prueba.

Algunos desventajas del CloudTest:

  • La edición gratuita es demasiado limitada.
  • La configuración de SLA no está disponible en CloudTest.
  • No hay capacidades de control de hardware.
  • No existe la capacidad de usar CloudTest para automatizar aplicaciones basadas en Flex, Multimedia o Silver Light.

LoadStorm
logo de tormenta de carga
LoadStorm es una herramienta fácil de usar y rentable que se puede utilizar para probar la carga de aplicaciones web y móviles. Cuenta con código abierto y ediciones comerciales. Puede ejecutar casos de prueba con no más de 50 usuarios virtuales de forma gratuita.

La clave de LoadStorm caracteristicas:

  • No se necesita ninguna instalación especial.
  • Se tarda unos minutos en grabar un guión.
  • Plataforma de nube distribuida en todo el mundo para la ejecución de casos de prueba
  • Informes bien personalizados.
  • Análisis en el modo en tiempo real.
  • Inteligencia de rendimiento durante la ejecución de casos de prueba.
  • Soporte constante en línea
  • Proporciona tráfico de distribución geográfica.

Alguno sinconvenientes de la LoadStorm:

  • LoadStorm puede probar solo las aplicaciones web a las que se puede acceder desde la nube de Amazon.
  • Se requiere el sistema operativo Windows para su uso.
[/ youtube_video]

Medidor de inteligencia

herramientas de prueba de carga de medidor inteligente
Smart Meter tiene una versión gratuita muy potente, aunque es una herramienta comercial de pruebas de rendimiento y carga. A diferencia de otras herramientas comerciales de nuestra lista, tiene la capacidad de ejecutar casos de prueba con 50 usuarios virtuales de forma gratuita. Además, tienes 2 generadores de carga para tus pruebas.

Las principales ventajas del SmartMeter:

  • Los informes de prueba, que se generan automáticamente, contienen la información completa sobre la prueba y sus resultados.
  • Registrador de escenarios de prueba multifuncional.
  • Existe la capacidad de proporcionar pruebas de carga desde diferentes ubicaciones.
  • Es fácil de integrar con Jenkins, Bamboo y Maven, etc.
  • Varios monitores muestran los resultados de ejecución de casos de prueba en modo de tiempo real.
  • Existe la posibilidad de combinar casos de prueba de carga con Selenium.
  • Monitorización permanente del entorno de pruebas.

Algunas limitaciones del SmartMeter:

  • No es fácil aprender herramienta.
  • El tiempo máximo de ejecución del caso de prueba en la versión gratuita es de solo 15 minutos.

[youtube_video url = "https://www.youtube.com/watch?v=59l7D9qg_8g" width = "100%" height = "400px"] [/ youtube_video]

Herramientas de prueba totalmente comerciales.

Finalmente, se considerarán las herramientas comerciales con versión solo pagada. Naturalmente, todos ellos tienen un corto período de prueba gratuito. Pero no se puede definir como ediciones de código abierto.

Ejecutante de seda de Micro Focus
silk_performer
Silk Performer (anteriormente conocido como Borland) es la poderosa herramienta para la prueba de carga de aplicaciones web, móviles y empresariales. Ayuda a identificar los puntos débiles de la aplicación bajo la carga máxima de clientes utilizando diagnósticos integrados e informes de tendencias.

Llave caracteristicas del artista de seda:

  • Es compatible con todos los entornos web principales: HTML5, AJAX, Diseño web responsivo, Adobe Flash / Flex y Microsoft Silverlight.
  • Una amplia gama de herramientas de prueba de aplicaciones nativas y web móvil.
  • Se requieren recursos de hardware mínimos para la simulación de usuario virtual.
  • Genera informes bien personalizados con tablas y gráficos.
  • Silk Performer tiene una correlación y una parametrización fáciles de usar.
  • Es compatible con la supervisión integrada del servidor.
  • El análisis de la causa raíz visual ayuda a detectar los cuellos de botella.
  • Tiene las correlaciones de script simples.
  • Escalabilidad en la nube ilimitada.
  • Existe la capacidad de probar sus aplicaciones en una variedad de plataformas móviles y estándares de conexión: iOS, Android, BlackBerry, GPRS, HSPA +, EDGE y LTE.

Algunos puntos débiles del artista de seda:

  • Hay una integración deficiente con herramientas de diagnóstico profundo para el monitoreo de rendimiento de extremo a extremo.
  • Está diseñado sólo para Windows.
  • Se requiere mucha memoria para las pruebas de carga con el Silk Performer.
  • Podría haber un problema con la configuración del patrón de rampa descendente.

[youtube_video url = "https://www.youtube.com/watch?v=JOdAsXPnlLk" width = "100%" height = "400px"]

WAPT
herramientas de prueba de carga wapt
WAPT es la popular herramienta, que es igualmente efectiva para los servicios web de prueba de carga, aplicaciones móviles y todo tipo de sitios web, desde tiendas virtuales hasta sistemas ERP y CRM corporativos.

Con solo unos pocos clics, puede crear y ejecutar casos de prueba con miles de usuarios virtuales. WAPT le permite controlar cómo personalizar estos usuarios virtuales.

El principal méritos de la WAPT:

  • Es fácil de instalar.
  • Prueba rápida de grabación y diseño.
  • WAPT soporta tecnologías RIA y aplicaciones móviles.
  • Informes de errores avanzados basados en diferentes indicadores: errores de nivel de red, códigos de respuesta HTTP, tiempos de espera, retrasos del servidor y validación de la respuesta por el contenido de la página.
  • Pruebas de seguridad de sitios web.
  • Existe la posibilidad de incluir la ejecución del código JavaScript en los perfiles de usuario virtuales.
  • Los informes bien ilustrados y detallados están disponibles incluso en el tiempo de ejecución.
  • El visor de registro integrado le permite navegar paso a paso por cada sesión ejecutada.

Deméritos de la WAPT:

  • Se requiere el sistema operativo Windows para instalar esta herramienta.
  • WAPT no tiene capacidad de scripting.

Pruebas en cualquier lugar por automatización en cualquier lugar


Testing Anywhere se centra en los sitios web, los controles, los objetos y las pruebas de carga frontales de GUI.

Hay cinco métodos de creación de casos de prueba en la prueba en cualquier lugar:

  • Grabacion web
  • Registro de objetos
  • Reconocimiento de imagen
  • Grabación inteligente
  • Editor

Llave caracteristicas de la prueba en cualquier lugar:

  • No se requiere conocimiento de programación.
  • Los casos de prueba son fáciles de construir y editar.
  • Existe la posibilidad de realizar pruebas de migración.
  • Automatización visual de casos de prueba.
  • Identificación automática de objetos de lenguaje. Funciona con Java, Net, WPF, Silverlight, HTML, Flash y Flex.
  • Testing Anywhere ofrece la plataforma única para testing.

Algunos limitaciones de la prueba en cualquier lugar:

  • Es compatible con el único sistema operativo de Windows.
  • Podría haber algunos problemas con la prueba de aplicaciones iOS.
  • La plataforma de prueba no se proporciona para aplicaciones escritas en los idiomas más antiguos.

StormRunner Load por Hewlett Packard Enterprise

Stormrunner

StormRunner Load es la última herramienta de prueba de carga entre los productos ofrecidos por Hewlett Packard Enterprise. Puede ser utilizado tanto para la web como para pruebas móviles. StormRunner es el servicio basado en la nube / SaaS, que facilita el acceso y el aprovechamiento.

StormRunner’s ventajas:

  • Es fácil y simple de usar.
  • Los protocolos HTTP / HTML (tanto web como móvil), Web SAP, Java, Flex, Web TruClient, TruClient Native Mobile y TruClient Mobile Web son compatibles con StormRunner.
  • Interfaz minimalista y receptiva.
  • Alta escalabilidad. Existe la capacidad de ejecutar casos de prueba con más de un millón de usuarios web y móviles distribuidos geográficamente.
  • Los usuarios virtuales se pueden eliminar o agregar durante la ejecución del caso de prueba.
  • La infraestructura de pruebas de carga se implementa automáticamente.
  • Tiene una estrecha integración con Jenkins, Dynatrace, Gatling, Docker, AWS Code Pipeline y New Relic.
  • Existe una capacidad de retiro de servidores del centro de rendimiento.
  • Ofrece generadores de carga en diferentes ubicaciones geográficas.
  • Detección rápida del problema.
  • Informe analítico bien personalizado a través de la virtualización de redes.

Algunos limitaciones del StormRunner:

  • No hay capacidad para utilizar análisis de red con scripts de JMeter.
  • No hay FTP para cargas masivas.
  • No hay opción para programar pruebas para comenzar en una fecha posterior.
  • No se pudieron adjuntar otros activos que no sean scripts.

Entonces, ahora estás informado sobre las mejores herramientas para las pruebas de carga. Como usted ha leído, todos ellos tienen sus propios méritos y limitaciones de uso. Algunos de ellos son preferibles para equipos pequeños, otros para grandes empresas desarrolladoras. De todos modos, depende de la variedad de factores que uno debe elegir en la situación particular.

¿Estás de acuerdo con nuestra lista? Tal vez usted sabe que la herramienta merece un lugar en nuestra calificación. Comparte tus opiniones y experiencia en los comentarios a continuación.

TOP 20 des outils pour les tests de charge en 2018

Yana Gusti 02/07/2019

Les meilleurs outils de test de charge seront considérés dans cet article. Vous trouverez ici des informations sur les outils gratuits et commerciaux permettant de rendre vos tests de charge plus efficaces.

Outils de test de charge gratuits

Commençons par les outils distribués entièrement gratuits.

Apache JMeter ™

Apache JMeter

Apache JMeter est l’outil open source le plus souvent utilisé pour les tests de charge. JMeter a été conçu à l’origine pour tester une application Web ou une application FTP. Actuellement, il peut également être utilisé pour le test fonctionnel, le test de serveur de base de données, etc. JMeter ne nécessite pas d’infrastructure de pointe pour les tests de charge et prend en charge plusieurs injecteurs de charge gérés par un seul contrôleur.

Voyons comment cela fonctionne habituellement. Le flux de travail JMeter terminé est illustré dans l’image ci-dessous.

Le flux de travail terminé de JMeter comme indiqué dans la figure ci-dessous

Les principales caractéristiques et avantages de JMeter.

Prix. JMeter est l’outil open source, qui permet à tout le monde d’utiliser le code source pour le développement.

Indépendance de la plateforme. Comme JMeter étant une application de bureau Java à 100%, il peut donc être exécuté sur plusieurs plates-formes.

Installation. Aucune installation spéciale n’est nécessaire. Tout ce que vous devez faire pour exécuter JMeter consiste à copier et à exécuter le fichier * .bat.

Interface graphique conviviale (interface utilisateur graphique). En fait, il pourrait être utilisé dans 3 modes: le mode interface graphique, le mode serveur et le mode ligne de commande. Il faut un peu de temps pour se familiariser avec l’interface graphique de JMeter.

Visualisation des résultats du cas de test.Le  résultat du test peut être affiché de différentes manières: table, graphique, fichier journal et arborescence.

Cadre multi-threading. JMeter aide à fournir l’échantillonnage parallèle et simultané de différentes fonctions par un groupe de threads distinct.

Haut niveau d’extensibilité. Vous avez la possibilité d’écrire vos propres cas de test. En outre, des plug-ins de visualisation spéciaux sont pris en charge pour étendre vos tests.

Simulation. JMeter permet de simuler plusieurs utilisateurs avec des threads parallèles et de créer une lourde charge par rapport aux applications Web testées.

Prise en charge multi-protocole. Il prend en charge tous les protocoles de base tels que HTTP, SOAP, LDAP, JDBC, JMS et FTP.

Test de script. Jmeter peut être intégré à Selenium et Bean Shell pour des tests automatisés.

“Record” et “Playback”Enregistrer “options. L’activité des utilisateurs sur le navigateur pourrait être enregistrée et simulée dans l’application Web à l’aide de JMeter.

Prise en charge intégrée en temps réel. Les collecteurs Apache Tomcat permettent de fournir une surveillance en temps réel.

Intégration facile et continue avec les bibliothèques open source. JMeter est intégré aux bibliothèques open source pour Jenkins, Maven et Gradle.

JMeter a aussi quelques points faibles:

  • Il n’est pas possible d’enregistrer une communication HTTPS.
  • Il n’est pas capable de surveiller les statistiques liées au serveur d’applications.
  • Il n’y a pas d’option d’interception de trafic AJAX.
  • Les fonctionnalités très limitées du framework de reporting.

 

The Grinder

le moulin-logo

The Grinder est un autre framework Java populaire pour les tests de charge. Jython, l’implémentation Java spéciale du Python, est le langage de script par défaut. Testsripst pourrait également être écrit en Clojure. Les parties principales de The Grinder:

  • La console du broyeur est l’environnement de développement interactif de base (IDE) pour le développement et l’édition de suites de tests. Il surveille les résultats en temps réel et contrôle divers agents de The Grinder.
  • Les agents de broyeur sont les générateurs de charge spéciaux sans tête. Ils peuvent avoir plusieurs ouvriers pour créer la charge.

Vous pouvez voir le système sous le test de charge dans The Grinder à l’image ci-dessous.

la charge de broyeur tseting

Le moulin principales caractéristiques:

  • Le broyeur est l’outil multi-plateforme. Il peut être exécuté n’importe où vous pouvez configurer une machine virtuelle Java.
  • Prise en charge de plusieurs protocoles.
  • Développement de scripts rapide et puissant
  • Graphiques de performance simples et glissants pour toutes les transactions dans un seul onglet.
  • Les utilisateurs ont la possibilité d’écrire leurs propres plug-ins sur une interface documentée
  • Paramétrage flexible.
  • L’utilisateur peut charger l’API Java à titre de test à partir de serveurs Web HTTP, de services SOAP et REST.
  • The Grinder offre une grande flexibilité pour le chargement et l’exécution de bibliothèques tierces.

Intégration avec JIRA. Le moulin désavantages:

  • Les échecs de mémoire pourraient être dans les scénarios de téléchargement de fichiers volumineux.
  • La console Grinder ne peut pas ajuster dynamiquement les niveaux de charge générés par les agents.
  • Il n’y a pas d’outils d’analyse supplémentaires spéciaux.
  • La connaissance particulière de Jython ou de Clojure est nécessaire.

 

Gatling

Logo Gatling

Gatling est la puissante “arme” basée sur Scala pour les tests de charge. Il comporte deux exécutables: l’un pour l’enregistrement du scénario de test et l’autre pour son exécution. En réalité, la structure de Gatling est définie en quatre parties:

  • Configuration du protocole HTTP aide à définir l’URL de base sur laquelle vous exécuterez vos tests. En outre, l’agent utilisateur, l’en-tête de langue et la connexion pourraient également être définis.
  • Définition des en-têtes fournit les en-têtes de la requête envoyée au serveur.
  • Définition de scénario spécifie un groupe d’actions à exécuter afin de simuler une interaction de l’utilisateur avec votre application.
  • Définition de la simulation vise à spécifier le nombre d’utilisateurs qui exécuteront simultanément le scénario de charge pour une période donnée.

le caractéristiques principales du Gatling:

  • Cela fonctionne avec n’importe quel système d’exploitation et n’importe quel navigateur.
  • Gatling prend en charge des rapports graphiques colorés et informatifs contenant des informations précieuses pour l’analyse.
  • Il peut exécuter ses cas de test dans différents nuages de tests.
  • Gatling peut être facilement intégré à Jenkins via le plug-in Jenkins et exécute vos tests dans Gradle et Maven à l’aide du plug-in Maven et du plug-in Gradle.
  • Gatling utilise une petite quantité de mémoire.
  • Cela réduit le temps de la phase de débogage.
  • Les erreurs et les inconvénients sont détectés au début du cycle de développement.

Le gatling désavantages:

  • L’API a été radicalement changé. Donc, il y a un problème avec les cas de test en cours d’exécution écrits dans l’ancienne version.
  • Gatling ne vous permet pas de répartir la charge entre les machines.
  • Il ne peut pas être mis à l’échelle horizontalement.

 

Criquet

Locust est une suite de tests de charge distribuée, pilotée par code, construite en Python. Il est souvent utilisé pour tester en charge des sites Web (ou d’autres systèmes) et indiquer le nombre d’utilisateurs simultanés qu’un système peut gérer.

Criquet basé sur l’idée originale. Selon lui, l’essaim de sauterelles attaquera votre site web pendant le test. Vous pouvez définir le comportement de chaque acridien (utilisateur). Le processus d’essaimage est surveillé en temps réel à partir d’une interface utilisateur Web et vous aide à identifier les points faibles de votre code.

Clé de Criquet fonctionnalités:

  • Tout système peut être testé avec Locust.
  • C’est l’outil multi-plateforme et facilement extensible.
  • Des centaines de milliers de comportements d’utilisateurs peuvent être simulés avec Locust.
  • Locust a le code très réutilisable.
  • Il a le haut niveau de personnalisation. Il est possible de combiner plusieurs demandes en un seul scénario en regroupant des demandes avec des points personnalisés spécifiques.

le limites de la sauterelle:

  • La perte de statistiques. Les sauterelles sont rassemblées et affichées jusqu’à ce que le nombre d’utilisateurs requis soit atteint. Après cela, toutes les statistiques sont réinitialisées et il commence à en rassembler de nouvelles.
  • Les essais en criquets pèlerins ne s’arrêtent jamais. Il est impossible de lui indiquer le nombre de hits que chaque utilisateur doit simuler.
  • Il n’obtient pas toutes les ressources disponibles. Par exemple, Locust ne demandera pas d’adresse URL à moins que vous ne lui indiquiez explicitement de le faire.

 

ApacheBench (ab) – Outil d’analyse comparative de serveur HTTP Apache

ApacheBench

ApacheBench est probablement l’outil le plus simple pour les tests de charge. Il s’agit du programme en ligne de commande, conçu à l’origine pour les tests du serveur HTTP Apache. En effet, ApacheBench pourrait être efficace pour tester n’importe quel serveur Web.

Si vous utilisez MacOS ou Linux, vous l’avez déjà sur votre ordinateur. Si votre système d’exploitation est Windows, installez simplement Apache et vous verrez ab.exe dans tonapache / bin dossier.

Le principal mérite de l’ApacheBench:

  • C’est simple à utiliser et facile à apprendre l’outil.
  • Aucune installation supplémentaire n’est nécessaire.
  • ApacheBench est l’outil économique et qui fait gagner du temps.
  • Il est possible de définir le nombre total de requêtes, le nombre de requêtes exécutées en parallèle et la limite de temps pour toutes les requêtes.

Les démérites de l’ApacheBench:

  • Mauvaise fonctionnalité.
  • Il n’existe aucune possibilité d’évaluer la performance du projet de toutes parts.
  • Le protocole HTPS n’est pas pris en charge.

 

Taureau

Taureau

Taurus est la plateforme de test multi-outils open source développée par BlazeMeter. Taureau représente Test Automation Running Smoothly. L’idée principale de sa création était de renforcer les outils de test de charge libre existants tels que JMeter, Selenium, Grinder et Gatling.

Le principal les avantages du taureau:

  • Taurus a la configuration simple et la mise à niveau.
  • YAML ou JSON facilite la gestion des versions des scripts.
  • Taurus est facile à combiner avec JMeter, Selenium, Grinder et Gatling, augmentant considérablement leurs capacités.
  • Les rapports en temps réel sont disponibles pendant l’exécution du scénario de test.
  • Des scripts préexistants pourraient être utilisés dans le Taurus.
  • Il est intégré au BlazeMeter.
  • Les critères de réussite / d’échec flexibles sont définis de manière simple.
  • Taurus est exécuté partout où Python et Java peuvent être exécutés.
  • Il est intégré à des outils de CI comme Jenkins.

Certains désavantages du taureau:

  • Taurus est un outil gourmand en ressources.
  • Changer la configuration matérielle est hors de portée.
  • Les cas de test d’endurance à long terme ne sont pas pris en charge.

 

Siege par Joe Dog

siege_joe_dog

Siege est un utilitaire spécial permettant de tester la charge des protocoles HTPP et HTPS. Il peut également être utilisé comme outil d’analyse comparative de serveur Web. Siege est un outil basé sur GNU / Linux, mais il a maintenant été porté avec succès sous AIX, Solaris, HP-UX et BSD.

Clé de siège fonctionnalités:

  • Les protocoles HTTP, HTTPS, FTP, les cookies et l’authentification simple sont pris en charge.
  • Il est facile de compiler sur un système d’exploitation basé sur Unix.
  • Siege est l’outil multithread.
  • Il existe une capacité des utilisateurs d’émulation de charge.
  • Il pourrait être exécuté avec plusieurs adresses IP du même ordinateur.
  • L’exécution de cas de test de scénario simple est prise en charge.

Certains points faibles du siège:

  • Il ne peut pas être exécuté sur Windows. Bien que vous puissiez utiliser Cygwin pour le faire.
  • Siege est un outil gourmand en ressources.
  • Il n’est pas adapté aux tests sérieux et à grande échelle dans des centaines et des milliers de threads.

Outils de test de charge commerciaux avec éditions gratuites

Le prochain groupe d’outils de test de charge que nous allons examiner est celui des outils commerciaux à édition gratuite. Bien sûr, presque la plupart des outils commerciaux pour les tests de charge ont une période d’essai gratuite. Mais dans ce chapitre, nous parlerons des outils de test de charge, qui ont une sorte d’édition gratuite.

En règle générale, il existe différents types de limitations d’utilisation de ces outils de test de charge. Par exemple, le nombre d’utilisateurs, le nombre de scénarios de test exécutés par mois, la durée de test, etc.

Avis sur WebLOAD

charge de travail

WebLOAD est l’outil de test et d’analyse de charge distribué par RadView Software. C’est un véritable outil puissant et efficace pour le test d’applications Web ainsi que pour le test mobile. Les cas de test sont générés en JavaScript et peuvent être améliorés et édités à l’aide de divers outils de l’EDI.

WebLOAD est distribué à la fois de manière gratuite et commerciale. Il convient de mentionner que WebLOAD Free Edition inclut presque toutes les fonctionnalités de la version commerciale. Les limitations concernaient le nombre d’utilisateurs virtuels (maximum 50 personnes) et quelques exceptions pour les fonctionnalités de transmission en continu / multimédia Oracle Forms, Flex / AMF.

Ainsi, les petites équipes ont la possibilité d’utiliser ses fonctionnalités. En voici quelques uns:

  • Support majeur de la technologie web.
  • L’utilisateur a la capacité de générer une charge sur site ou dans le cloud.
  • Les assistants d’interface utilisateur vous aident à améliorer le script.
  • Plus de 80 modèles de rapports configurables sont fournis par les tableaux de bord d’analyse WebLOAD.
  • L’utilisateur a la possibilité de partager les résultats d’exécution de tests élémentaires entre des équipes distribuées.
  • WebLOAD peut être facilement intégré à de nombreux outils populaires: Sélénium, Jenkins, Perfecto Mobile, Nouvelle Relique, Dynatrace, etc.
  • Les goulots d’étranglement potentiels sont automatiquement détectés.
  • Une large gamme d’outils de test mobiles
  • Combinaison de la charge des utilisateurs virtuels sur site et en nuage.
  • Le support client de haut niveau.
  • Moteur de corrélation puissant.

Quelques points faibles du WebLOAD:

  • Il n’y a pas de support Citrix.
  • WebLOAD se concentre principalement sur les développeurs que sur les spécialistes en assurance qualité. Donc, des compétences techniques spéciales sont nécessaires pour sa configuration.
  • La mise à niveau ne peut pas utiliser les scripts précédents.
  • L’interface graphique SAP n’est pas prise en charge.

 

Testeur de performances HP (LoadRunner)

LoadRunner

Loadrunner de Hewlett-Packard Enterprise est l’un des outils de test de charge les plus utilisés.

le Composants de LoadRunner:

  • le Virtual User Generator (VuGen) vise à enregistrer un script et permet de développer des scripts Vuser (utilisateur virtuel) pour différents types d’applications et protocoles de communication.
  • le Manette est le composant principal permettant de contrôler la simulation de charge.
  • Agents Machines (générateurs de charge ou injecteurs de charge) sont les machines utilisateurs virtuels répartis à travers.
  • Analyse et surveillance LoadRunner est la performance détaillée de vos cas de test.
  • LoadRunner Books Online sont le matériel d’étude complet pour HP LoadRunner.

le parties principales du processus de test de charge dans le LoadRuner:

  • Planifier le test de charge
  • Créer des scripts Vuser
  • Définir un scénario
  • Scénario d’exécution
  • Analyser les résultats

LoadRunners les avantages:

  • Simulation interactive de transaction utilisateur.
  • Un large éventail d’applications prend en charge.
  • De puissants outils de test mobiles.
  • Il réduit les exigences système et l’intervention humaine.
  • LoadRunner offre l’enregistrement et la lecture ou la création de scripts.
  • Outil de suivi d’utilisation efficace.
  • Exécution en un point.
  • Utilisation optimale de la ferme génératrice de charge.
  • LoadRunner détecte rapidement et avec précision la cause première des problèmes de performance des applications.

Certains désavantagesdu LoadRunner:

  • Plusieurs scénarios spécifiques ne peuvent pas être lancés à partir de la ligne de commande.
  • Cela nécessite un support continu pour l’assistance technique pendant l’exécution.
  • Une grande quantité d’espace disque est requise pour l’installation de LoadRunner.
  • Le contrôleur et VUGen ne fonctionnent que sous Windows.

 

Rational Performance Tester par IBM

rational_perfomance_tester_ibm

Rational Performance Tester (RPT) est un outil de test de performance et de charge développé par IBM Corporation. Il peut être utilisé pour une application Web ou une application basée sur un serveur où un processus d’entrée et de sortie est impliqué. RPT crée une démonstration du processus de transaction d’origine entre l’utilisateur et le service Web.

Clé mérite du testeur de performance rationnel:

  • Une large base d’applications telles que HTTP, SAP, Siebel, SIP, TCP Socket et Citrix est prise en charge.
  • Aucune connaissance particulière en programmation n’est requise.
  • Il fournit les diagnostics des serveurs d’applications Websphere et Weblogic.
  • Il est exécuté avec de grands scénarios de test multi-utilisateurs.
  • Rapports en temps réel pour l’identification immédiate des problèmes de performances.
  • Le programme de test graphique flexible dans lequel la charge peut être spécifiée par groupes d’utilisateurs proportionnels.
  • Environnement et support de la plateforme.
  • Les plages étendues des outils d’analyse de cause première.

Certainsdémérites du testeur de performance rationnel:

  • Augmenter ou réduire les ressources n’est pas possible dans Rational Performance Tester.
  • Il ne prend pas en charge les applications Java Applet.
  • Il n’y a pas de possibilité de planification.

 

BlazeMeter

blazemeter

BlazeMeter est l’une des plates-formes les plus utilisées pour les tests de charge. Il est offert à la fois dans les éditions gratuites et commerciales. Vous pouvez exécuter gratuitement jusqu’à 10 tests avec 50 utilisateurs maximum. Le seul générateur de charge est disponible dans la version gratuite du Blazemeter.

Clé fonctionnalités du blazemeter:

  • Blazemeter est compatible à 100% avec Apache JMeter.
  • Il s’intègre facilement à d’autres outils open source populaires: Selenium, Locust et Gatling.
  • Il est possible d’exécuter des cas de test avec plus d’un million d’utilisateurs.
  • Il existe un accès direct au Blazemeter depuis le Web.
  • Blazemeter permet de simuler le trafic provenant d’appareils mobiles avec des forces de signal variées et divers réseaux.
  • Test bas évolutif de n’importe où.
  • Vous pouvez télécharger les résultats des tests pour une utilisation hors ligne.
  • Il prend en charge les tests Sandbox pour valider les scripts pour le nombre limité d’utilisateurs pendant une durée limitée.
  • Blazemeter propose des rapports hautement personnalisés et bien illustrés, faciles à partager.
  • Possibilité de modifier la charge via un groupe de threads d’accès simultané ou à l’aide de la méthode «Limit RPS».
  • JMeter plugin pour le support Flex.
  • HLS plugin pour HLS pour le streaming vidéo et la vidéo à la demande.

Certains de Blazemeter limites:

  • Les cas de test d’endurance sont limités dans le temps dans l’édition gratuite.

[youtube_video url = "https://www.youtube.com/watch?v=6Oih-v-LICE" width = "100%" height = "400px"]

 

NeoLoad par Neotys

néoload

NeoLoad est l’outil populaire d’analyse des performances du site Web ou de l’application sous la charge la plus lourde. Il fonctionne avec la haute efficacité à la fois avec les applications de bureau et mobiles. NeoLoad est écrit en Java. L’exécution de scénarios de test pour 50 utilisateurs virtuels au maximum est gratuite.

le principales caractéristiques et les avantages de NeoLoad sont:

  • Il prend en charge les dernières technologies Web et mobiles.
  • Les capacités multi-plateformes de NeoLoad permettent de générer des charges sur une grande variété de plateformes (Unix, Windows, Linux,…).
  • NeoLoad obtient un résumé de l’exécution du scénario de test, puis examine ses détails à l’aide des graphiques et des tableaux statistiques. Les statistiques proviennent de vos serveurs (CPU, mémoire, etc.).
  • Les scénarios de test du monde réel vous aident à détecter rapidement les problèmes de performances.
  • L’intégration dans le cloud, la surveillance en direct et l’intégration de périphériques réels sont prises en charge non seulement sur Android ou iOS, mais également sur Windows Phone et Blackberry.
  • Une interface graphique ergonomique qui réduit le temps d’exécution du test.
  • Il est possible de définir le comportement de l’utilisateur virtuel et des paramètres de scénario tels que la politique de charge (constante, montée en puissance, crête ou personnalisée) ou le nombre d’utilisateurs virtuels à simuler dans le test.
  • Il supporte la conversion de script Selenium
  • Les moniteurs de performances (UC, mémoire, utilisation du disque, etc.) sont configurés pour vos serveurs.
  • Le contenu de la page est vérifié sous la charge.
  • Il est possible d’enregistrer toute application mobile directement à partir de tout appareil mobile avec le mode proxy ou le mode tunnel DNS.
  • Il enregistre le trafic HTTP entre le navigateur et le serveur.

Certains désavantages de NeoLoad:

  • Il ne fonctionne pas sous Mac OSX.
  • Il n’y a pas de page d’accès DOM
  • Il n’existe aucune possibilité de créer des transactions de début et de fin pour capturer le temps de réponse.

 

LoadUI par SmartBear

loadUI

LoadUI est le célèbre outil utilisé principalement pour le test de charge des services Web. Il est distribué à la fois en version gratuite et sous licence. Si vous souhaitez l’utiliser avec une efficacité accrue, vous devez l’utiliser avec un autre produit SmartBear gratuit. SoapUI.

Le principal les avantages de LoadUI:

  • Plusieurs stratégies de performance.
  • Glissez et déposez l’interface.
  • Prise en charge de l’API.
  • Exécution des tests de charge en parallèle et isolé.
  • Retour d’information en temps réel sur les résultats de vos cas de test.
  • La possibilité d’ajouter de nouvelles données alors même que l’application est en cours de test.
  • Interface mise à jour automatiquement.
  • Cela fonctionne avec le système d’exploitation principal.
  • Les rapports visuels LoadUI sont présentés dans un format graphique très facile à comprendre.
  • Il est possible de créer, configurer et modifier des cas de test pendant l’exécution.

Certains points faibles de la LoadUI:

  • Les scripts créés dans les versions Pro ne peuvent pas être utilisés dans les versions gratuites.
  • Les anciens projets pourraient être importés avec certaines limitations.
  • Il est faible et limité pour les tests de charge Web.

 

CloudTest de Soasta

CloudTest de Soasta

CloudTest est l’outil complet permettant de tester la charge et les performances du Web et des applications mobiles. Il peut être hébergé sur un ou plusieurs serveurs physiques ainsi que dans le cloud.

Les fournisseurs de services cloud Amazon Web Services et Rackspace sont utilisés par CloudTest pour la simulation du trafic.

CloudTest Lite est sa version d’essai gratuite. Bien sûr, il y a beaucoup de limitations dans cette édition:

  • Pas de support 24/7.
  • Il n’y a pas de génération de charge globale dans le cloud
  • Le nombre maximal d’utilisateurs virtuels simultanés est de 100 personnes.
  • Un seul générateur de charge peut être utilisé, etc.

Quoi qu’il en soit, c’est puissant même dans la version à édition gratuite.

Le principal les avantages du CloudTest:

  • Il fournit des tests de performances mobiles de bout en bout.
  • Analyse en temps réel.
  • Les cas de test sont rapidement construits, édités, exécutés et analysés.
  • Il s’intègre facilement à JMeter et à d’autres outils de test automatisés souvent utilisés.
  • La haute précision du trafic simulant des utilisateurs Web et mobiles.
  • Il offre des rapports de performance à 360 ° de la surveillance de l’utilisateur réel.
  • Il est possible d’ajouter ou de supprimer des utilisateurs lors de l’exécution du scénario de test.

Certains désavantages du CloudTest:

  • L’édition gratuite est trop limitée.
  • La configuration de SLA n’est pas disponible dans CloudTest.
  • Il n’y a pas de capacités de contrôle du matériel.
  • Il n’est pas possible d’utiliser CloudTest pour l’automatisation d’applications basées sur Flex, Multimedia ou Silver Light.

 

LoadStorm

loadstorm-logo

LoadStorm est l’outil facile à utiliser et économique qui peut être utilisé pour tester la charge d’applications Web et mobiles. Il a des éditions open source et commerciales. Vous pouvez exécuter des cas de test avec 50 utilisateurs virtuels au maximum gratuitement.

La clé de LoadStorm fonctionnalités:

  • Aucune installation spéciale n’est nécessaire.
  • Il faut quelques minutes pour enregistrer un script.
  • Plateforme cloud distribuée dans le monde entier pour l’exécution de cas de test
  • Rapports bien personnalisés.
  • Analytics en mode temps réel.
  • Intelligence de performance lors de l’exécution de cas de test.
  • Support en ligne constant
  • Il fournit une distribution géographique du trafic.

Certains désavantages du LoadStorm:

  • LoadStorm ne peut tester que les applications Web accessibles depuis le cloud Amazon.
  • Le système d’exploitation Windows est requis pour son utilisation.

 

Compteur intelligent

outils de test de charge smartmeter

Smart Meter possède la version gratuite très puissante, bien qu’il s’agisse d’un outil commercial de test de la charge et des performances. Contrairement à d’autres outils commerciaux de notre liste, vous avez la possibilité d’exécuter des cas de test avec 50 utilisateurs virtuels gratuitement. En outre, vous avez 2 générateurs de charge pour vos tests.

Les principaux avantages du SmartMeter:

  • Les rapports de test, générés automatiquement, contiennent toutes les informations sur le test et ses résultats.
  • Enregistreur de scénario de test multifonctionnel.
  • Il est possible d’effectuer des tests de charge à partir de différents emplacements.
  • Il est facile à intégrer avec Jenkins, Bamboo, Maven, etc.
  • Plusieurs moniteurs affichent les résultats d’exécution des cas de test en mode temps réel.
  • Il est possible de combiner des cas de test de charge avec du sélénium.
  • Surveillance permanente de l’environnement de test.

Quelques limitations du SmartMeter:

  • Ce n’est pas facile d’apprendre l’outil.
  • La durée maximale d’exécution du scénario de test dans la version gratuite n’est que de 15 minutes.

 

Outils de test entièrement commerciaux

Enfin, les outils commerciaux avec seulement la version payante seront considérés. Naturellement, ils ont tous une courte période d’essai gratuite. Mais il ne peut pas être défini comme une édition open source.

Silk Performer de Micro Focus

soie_performer

Silk Performer (anciennement Borland) est un outil puissant pour le test de charge d’applications Web, mobiles et d’entreprise. Il est utile d’identifier les points faibles de l’application sous la charge maximale des clients à l’aide de diagnostics intégrés et de rapports de tendance.

Clé fonctionnalités de l’artiste de la soie:

  • Il prend en charge tous les principaux environnements Web: HTML5, AJAX, Responsive Web Design, Adobe Flash / Flex et Microsoft Silverlight.
  • Une large gamme d’outils de test d’applications Web mobiles et natives.
  • Des ressources matérielles minimales sont requises pour la simulation d’utilisateur virtuel.
  • Il génère des rapports bien personnalisés avec des tableaux et des graphiques.
  • Silk Performer dispose d’une corrélation et d’un paramétrage conviviaux.
  • Il prend en charge la surveillance intégrée du serveur.
  • L’analyse visuelle des causes fondamentales permet de détecter les goulots d’étranglement.
  • Il a les corrélations de script simples.
  • Evolutivité illimitée du cloud.
  • Il est possible de tester vos applications sur diverses plates-formes mobiles et normes de connexion: iOS, Android, BlackBerry, GPRS, HSPA +, EDGE et LTE.

Certains points faibles de l’artiste de la soie:

  • L’intégration avec les outils de diagnostic approfondis pour la surveillance des performances de bout en bout est faible.
  • Il est conçu uniquement pour Windows.
  • Une quantité importante de mémoire est nécessaire pour les tests de charge avec Silk Performer.
  • Il pourrait y avoir un problème avec le réglage du modèle de décélération.

 

WAPT

wapt outils de test de charge

WAPT est un outil populaire, tout aussi efficace pour le test de charge des services Web, des applications mobiles et de tous les types de sites Web, des boutiques en ligne aux systèmes d’entreprise, ERP et CRM.

En quelques clics, vous pouvez créer et exécuter des cas de test avec des milliers d’utilisateurs virtuels. WAPT vous permet de contrôler comment personnaliser ces utilisateurs virtuels.

Le principal mérite de WAPT:

  • C’est facile d’installer.
  • Enregistrement de test rapide et conception.
  • WAPT prend en charge les technologies RIA et les applications mobiles.
  • Rapport d’erreur avancé basé sur différents indicateurs: erreurs au niveau du réseau, codes de réponse HTTP, délais d’attente, retards du serveur et validation de la réponse par contenu de la page.
  • Tests de sécurité des sites Web.
  • Il est possible d’inclure l’exécution du code JavaScript dans les profils d’utilisateurs virtuels.
  • Des rapports bien illustrés et détaillés sont disponibles même au moment de l’exécution.
  • La visionneuse intégrée du journal vous permet de parcourir, étape par étape, chaque session exécutée.

Les démérites de WAPT:

  • Le système d’exploitation Windows est requis pour installer cet outil.
  • WAPT n’a aucune capacité de script.

 

Tester Anywhere par Automation Anywhere

Testing Anywhere se concentre sur les tests de charge frontaux des sites Web, des contrôles, des objets et des interfaces graphiques.

Il y a cinq méthodes de création de cas de test dans le Testing Anywhere:

  • Enregistrement Web
  • Enregistrement d’objet
  • Reconnaissance d’image
  • Enregistrement intelligent
  • Éditeur

Clé fonctionnalités du test n’importe où:

  • Aucune connaissance en programmation n’est requise.
  • Les cas de test sont facilement construits et édités.
  • Il est possible d’effectuer des tests de migration.
  • Automatisation des cas de tests visuels
  • Identification automatique des objets de langage. Il fonctionne avec Java, Net, WPF, Silverlight, HTML, Flash et Flex.
  • Testing Anywhere offre une plate-forme unique pour les tests.

Certains limites du test n’importe où:

  • Il prend en charge le seul système d’exploitation Windows.
  • Il pourrait y avoir des problèmes avec le test des applications iOS.
  • La plate-forme de test n’est pas fournie pour les applications écrites dans les anciennes langues.

 

StormRunner Load de Hewlett Packard Enterprise

Stormrunner

StormRunner Load est le dernier outil de test de charge proposé par Hewlett Packard Enterprise. Il peut être utilisé à la fois pour le test Web et mobile. StormRunner est un service basé sur le cloud / SaaS, ce qui facilite son accès et son utilisation.

StormRunner avantages:

  • C’est facile et simple à utiliser.
  • Les protocoles HTTP / HTML (Web et mobile), SAP Web, Java, Flex, TruClient Web, TruClient Native Mobile et TruClient Mobile Web sont pris en charge par StormRunner.
  • Interface minimaliste et sensible.
  • Haute évolutivité. Il est possible d’exécuter des cas de test avec plus d’un million d’utilisateurs Web et mobiles répartis géographiquement.
  • Les utilisateurs virtuels peuvent être supprimés ou ajoutés lors de l’exécution du scénario de test.
  • L’infrastructure de test de charge est automatiquement déployée.
  • Il intègre étroitement Jenkins, Dynatrace, Gatling, Docker, AWS Code Pipeline et New Relic.
  • Il existe une possibilité de déclassement des serveurs Performance Center.
  • Il propose des générateurs de charge sur plusieurs sites géographiques.
  • Détection rapide du problème.
  • Rapport analytique personnalisé via la virtualisation de réseau.

Certains limites du StormRunner:

  • Il n’est pas possible d’utiliser l’analyse de réseau avec les scripts JMeter.
  • Il n’y a pas de FTP pour les envois en masse.
  • Il n’existe aucune option permettant de planifier les tests pour un démarrage ultérieur.
  • Les ressources autres que les scripts ne peuvent pas être attachées.

 

Vous connaissez maintenant les meilleurs outils pour la charge. essai. Comme vous l’avez lu, chacun d’entre eux a ses avantages et ses limites d’utilisation. Certains d’entre eux sont préférables pour les petites équipes, d’autres pour les grandes entreprises de développeurs. Quoi qu’il en soit, cela dépend de la variété des facteurs qu’il faut choisir dans la situation.

Êtes-vous d’accord avec notre liste? Peut-être connaissez-vous l’outil mérite une place dans notre classement. Partagez vos opinions et votre expérience dans les commentaires ci-dessous.

TOP 20 Werkzeuge für Belastungstests im Jahr 2018

Yana Gusti 06/06/2019

Die besten Werkzeuge für Lasttests werden in diesem Artikel behandelt. Hier finden Sie Informationen zu kostenlosen und kommerziellen Tools, mit denen Sie Ihre Auslastungstests effektiver gestalten können.

Kostenlose Lasttest-Tools

Beginnen wir mit den vollständig kostenlos verteilten Tools.

Apache JMeter ™

Apache JMeter

Apache JMeter ist das am häufigsten verwendete Open Source-Tool für Lasttests. JMeter wurde ursprünglich zum Testen von Webanwendungen oder FTP-Anwendungen entwickelt. Gegenwärtig kann es auch für Funktionstests, Datenbankservertests usw. verwendet werden. JMeter benötigt keine moderne Infrastruktur für Lasttests und bietet Unterstützung für mehrere Lastinjektoren, die von einem einzigen Controller verwaltet werden.

Betrachten wir, wie es normalerweise funktioniert. Der abgeschlossene JMeter-Workflow ist in der folgenden Abbildung dargestellt.

Der abgeschlossene Arbeitsablauf von JMeter ist in der folgenden Abbildung dargestellt

Die Hauptmerkmale und Vorteile von JMeter.

Preis. JMeter ist das Open-Source-Tool, mit dem jeder den Quellcode für die Entwicklung verwenden kann.

Plattformunabhängigkeit. Wie JMeter ist zu 100% eine Java-Desktop-App und kann daher auf mehreren Plattformen ausgeführt werden.

Installation. Es ist keine spezielle Installation erforderlich. Alles, was Sie tun sollten, um JMeter auszuführen, ist die * .bat-Datei zu kopieren und auszuführen.

Freundliche GUI (Graphic User Interface). Tatsächlich kann es in drei Modi verwendet werden: GUI-Modus, Servermodus und Befehlszeilenmodus. Es dauert einige Zeit, um sich mit der JMeter-Benutzeroberfläche vertraut zu machen.

Visualisierung der Testergebnisse. Das Testergebnis kann auf verschiedene Arten angezeigt werden: Tabelle, Diagramm, Protokolldatei und Baum.

Multithreading-Framework. JMeter hilft dabei, die parallele und gleichzeitige Abtastung verschiedener Funktionen durch eine separate Thread-Gruppe zu ermöglichen.

Hohe Erweiterbarkeit. Sie haben die Möglichkeit, eigene Testfälle zu schreiben. Außerdem werden spezielle Visualisierungs-Plugins zur Erweiterung Ihrer Tests unterstützt.

Simulation. Mit JMeter können mehrere Benutzer mit parallelen Threads simuliert und eine hohe Belastung für die zu testende Webanwendung erstellt werden.

Multiprotokoll-Unterstützung. Es unterstützt alle grundlegenden Protokolle wie HTTP, SOAP, LDAP, JDBC, JMS und FTP.Skripttest.Jmeter kann für automatisierte Tests in Selen und Bean Shell integriert werden.

“Aufnahme” und “Wiedergabe”Aufnahmeoptionen. Die Benutzeraktivität im Browser konnte mit JMeter in der Webanwendung aufgezeichnet und simuliert werden.

Integrierte Echtzeitunterstützung. Apache Tomcat-Kollektoren ermöglichen die Echtzeitüberwachung.

Einfache kontinuierliche Integration in Open Source-Bibliotheken. JMeter ist in Open Source-Bibliotheken für Jenkins, Maven und Gradle integriert.

JMeter hat auch einige schwache Punkte:

  • Es gibt keine Möglichkeit, die HTTPS-Kommunikation aufzuzeichnen.
  • Es ist nicht in der Lage, anwendungsserverbezogene Statistiken zu überwachen.
  • Es gibt keine Option für das Abfangen des AJAX-Verkehrs.
  • Die sehr eingeschränkten Funktionen des Reporting-Frameworks.

 

The Grinder

das grinder-logo

Der Grinder ist ein weiteres beliebtes Java-basiertes Framework für Lasttests. Jython, die spezielle Java-Implementierung von Python, ist die Standard-Skriptsprache. Testsripst kann auch in Clojure geschrieben werden.

Die Hauptteile von The Grinder:

  • Die Schleiferkonsole ist die grundlegende interaktive Entwicklungsumgebung (IDE) für die Entwicklung und Bearbeitung von Testsuiten. Es überwacht die Ergebnisse in Echtzeit und steuert verschiedene Agenten von The Grinder.
  • Die Grinder Agents sind die speziellen kopflosen Lastgeneratoren. Sie können eine Anzahl von Arbeitern haben, um die Ladung zu erstellen.

Sie können das System unter dem Belastungstest in The Grinder auf dem Bild unten sehen.

die Schleiferlast tseting

The Grinder Hauptmerkmale:

  • Der Grinder ist das plattformübergreifende Werkzeug. Es kann überall dort ausgeführt werden, wo Sie eine Java Virtual Machine einrichten können.
  • Unterstützung mehrerer Protokolle.
  • Schnelle und leistungsfähige Skriptentwicklung
  • Einfache, gleitende Leistungsdiagramme für alle Transaktionen auf einer Registerkarte.
  • Der Benutzer hat die Möglichkeit, eigene Plug-Ins in eine dokumentierte Oberfläche zu schreiben
  • Flexible Parametrierung.
  • Der Benutzer kann die Java-API als Test von HTTP-Webservern, SOAP- und REST-Diensten laden.
  • The Grinder bietet viel Flexibilität beim Laden und Ausführen von Bibliotheken von Drittanbietern.

Integration mit JIRA.

Der Schleifer nachteile:

  • Speicherfehler können in den Szenarien für das Herunterladen großer Dateien auftreten.
  • Die Grinder-Konsole kann die von den Agenten erzeugte Last nicht dynamisch anpassen.
  • Es gibt keine speziellen zusätzlichen Analysewerkzeuge.
  • Die speziellen Kenntnisse von Jython oder Clojure sind erforderlich.

 

Gatling

Gatling-Logo

Gatling ist die leistungsstarke Scala-basierte “Waffe” für Belastungstests. Es verfügt über zwei ausführbare Dateien: eine für die Aufzeichnung von Testfällen und eine für die Ausführung von Testfällen.

Tatsächlich besteht die Gatling-Struktur aus vier Teilen:

  • HTTP-Protokollkonfiguration hilft bei der Definition der Basis-URL, für die Sie Ihre Tests ausführen. Daneben können Benutzerprogramm, Sprachheader und Verbindung definiert werden.
  • Header-Definition Stellt die Header für die Anforderung bereit, die an den Server gesendet wird.
  • Szenariodefinition Gibt eine Gruppe von Aktionen an, die ausgeführt werden sollen, um eine Benutzerinteraktion mit Ihrer Anwendung zu simulieren.
  • Simulationsdefinition soll die Anzahl der Benutzer angeben, die für einen bestimmten Zeitraum gleichzeitig ein Ladeszenario ausführen.

Das Haupteigenschaften des Gatling:

  • Es funktioniert mit jedem Betriebssystem und jedem Browser.
  • Gatling unterstützt farbenfrohe und informative grafische Berichte mit wertvollen Informationen zur Analyse.
  • Es kann seine Testfälle in verschiedenen Testwolken ausführen.
  • Gatling kann einfach über das Jenkins-Plugin in Jenkins integriert werden und führt Ihre Tests mithilfe des Maven-Plugins und des Gradle-Plugins durch Gradle und Maven.
  • Gatling benötigt wenig Speicher.
  • Dies verkürzt die Zeit für die Debugging-Phase.
  • Fehler und Nachteile werden zu Beginn des Entwicklungszyklus erkannt.

Die Gatlings nachteile:

  • API wurde grundlegend geändert. Es gibt also ein Problem beim Ausführen von Testfällen, die in der alten Version geschrieben wurden.
  • In Gatling können Sie die Last nicht auf mehrere Computer verteilen.
  • Es kann nicht horizontal skaliert werden.

 

Heuschrecke

Locust ist eine in Python integrierte, code-gesteuerte, verteilte Lasttestsuite. Es wird häufig zum Testen der Auslastung von Websites (oder anderen Systemen) verwendet und gibt an, wie viele Benutzer gleichzeitig auf einem System ausgeführt werden können.

Heuschrecke basiert auf der ursprünglichen Idee. Demnach wird der Heuschreckenschwarm Ihre Website während des Tests angreifen. Sie können das Verhalten jeder Heuschrecke (Benutzer) definieren. Der Schwarmprozess wird in Echtzeit von einer Web-Benutzeroberfläche aus überwacht und hilft Ihnen, die Schwachstellen Ihres Codes zu identifizieren.

Locust-Schlüssel Eigenschaften:

  • Jedes System kann mit Locust getestet werden.
  • Es ist das plattformübergreifende und leicht erweiterbare Werkzeug.
  • Hunderttausende von Benutzern können mit Locust simuliert werden.
  • Heuschrecke hat den sehr wiederverwendbaren Code.
  • Es hat den hohen Grad an Anpassung. Sie können mehrere Anforderungen zu einem Szenario zusammenfassen, indem Sie Anforderungen mit bestimmten benutzerdefinierten Punkten gruppieren.

Das Einschränkungen der Heuschrecke:

  • Der Verlust von Statistiken. Locust sammelt und zeigt Statistiken an, bis die angeforderte Anzahl von Benutzern erreicht wurde. Danach werden alle Statistiken zurückgesetzt und es werden neue gesammelt.
  • Testen in Locust hört nie auf. Es kann nicht angegeben werden, wie viele Treffer jeder Benutzer simulieren soll.
  • Es werden nicht alle verfügbaren Ressourcen abgerufen. Locust fordert beispielsweise keine URL an, es sei denn, Sie weisen sie ausdrücklich an, dies zu tun.

 

ApacheBench (ab) – Apache HTTP-Server-Benchmarking-Tool

ApacheBench

ApacheBench ist wahrscheinlich das einfachste Tool zum Testen von Lasten. Es ist das Befehlszeilenprogramm, das ursprünglich für den Apache HTTP Server-Test entwickelt wurde. In der Tat kann ApacheBench jeden Webserver effektiv testen.

Wenn Sie ein Benutzer von macOS oder Linux sind, haben Sie es bereits auf Ihrem Computer. Wenn Ihr Betriebssystem Windows ist, installieren Sie einfach Apache und Sie werden sehen ab.exe in deinerApache / Bin Mappe.

Die wichtigsten Verdienste der ApacheBench:

  • Es ist einfach zu bedienen und leicht zu erlernen.
  • Es ist keine zusätzliche Installation erforderlich.
  • ApacheBench ist das kostengünstige und zeitsparende Tool.
  • Es besteht die Möglichkeit, die Gesamtzahl der Anforderungen, die Anzahl der parallel ausgeführten Abfragen und das Zeitlimit für alle Abfragen festzulegen.

Mängel der ApacheBench:

  • Schlechte Funktionalität.
  • Es gibt keine Möglichkeit, die Leistung des Projekts von allen Seiten zu bewerten.
  • Das HTPS-Protokoll wird nicht unterstützt.

 

Taurus

Stier

Taurus ist die vom BlazeMeter entwickelte Open-Source-Multi-Tool-Testplattform. Stier steht für Teuropäische Sommerzeit Automation Running Sglatt. Die Hauptidee der Entwicklung war die Durchsetzung vorhandener Tools zum Testen der freien Last wie JMeter, Selen, Grinder und Gatling. Die wichtigsten vorteile des Stiers:

  • Taurus hat die einfache Einrichtung und Aktualisierung.
  • YAML oder JSON erleichtern die Versionierung von Skripten.
  • Taurus lässt sich einfach mit JMeter, Selen, Grinder und Gatling kombinieren und erweitert so ihre Fähigkeiten erheblich.
  • Echtzeitberichte sind während der Testfallausführung verfügbar.
  • Bereits vorhandene Skripte könnten im Stier verwendet werden.
  • Es ist in das BlazeMeter integriert.
  • Flexible Pass / Fail-Kriterien werden auf einfache Weise definiert.
  • Taurus wird überall dort ausgeführt, wo Python und Java ausgeführt werden können.
  • Es ist in CI-Tools wie Jenkins integriert.

Etwas nachteile des Stiers:

  • Stier ist das ressourcenintensive Werkzeug.
  • Das Ändern der Hardwarekonfiguration ist nicht mehr zulässig.
  • Langzeittestfälle werden nicht unterstützt.

 

Belagerung von Joe Dog

siege_joe_dog

Siege ist das spezielle Dienstprogramm zum Testen der Auslastung des HTPP- und HTPS-Protokolls. Es kann auch als Webserver-Benchmarking-Tool verwendet werden. Siege ist das GNU / Linux-basierte Tool, wurde jedoch erfolgreich auf AIX, Solaris, HP-UX und BSD portiert.

Belagerungsschlüssel Eigenschaften:

  • Es werden HTTP-, HTTPS-, FTP-Protokolle, Cookies und einfache Authentifizierung unterstützt.
  • Es ist einfach unter Unix-basierten Betriebssystemen zu kompilieren.
  • Siege ist das Multithread-Tool.
  • Es besteht die Möglichkeit, dass Benutzer die Emulation laden.
  • Es kann mit mehreren IP-Adressen auf demselben Computer ausgeführt werden.
  • Die Ausführung einfacher Szenario-Testfälle wird unterstützt.

Etwas schwache Punkte der Belagerung:

  • Es konnte nicht unter Windows ausgeführt werden. Sie können jedoch verwenden Cygwin es zu tun.
  • Belagerung ist das ressourcenintensive Werkzeug.
  • Es ist nicht für ernsthafte und groß angelegte Tests in Hunderten und Tausenden von Threads geeignet.

Kommerzielle Lasttest-Tools mit kostenlosen Editionen

Die nächste Gruppe von Lasttest-Tools, die wir in Betracht ziehen werden, sind kommerzielle Tools mit kostenlosen Editionen. Natürlich haben fast die meisten kommerziellen Tools für Lasttests die kostenlose Testphase. In diesem Kapitel werden wir uns jedoch mit Lasttest-Tools befassen, für die eine Art kostenlose, gebrauchte Editionen verfügbar sind.

In der Regel gibt es unterschiedliche Einschränkungen bei der Verwendung dieser Auslastungstools. Zum Beispiel die Anzahl der Benutzer, die Anzahl der ausgeführten Testfälle pro Monat, die Testdauer usw.

WebLOAD Bewertungen

Webload

WebLOAD ist das Lasttest- und Analysetool, das von RadView Software vertrieben wird. Es ist ein sehr leistungsfähiges und effektives Tool sowohl für das Testen von Web-Apps als auch für das Testen von Mobilgeräten. Testfälle werden in JavaScript generiert und können mithilfe verschiedener Tools in der IDE erweitert und bearbeitet werden.

WebLOAD wird sowohl kostenlos als auch kommerziell vertrieben. Es sollte erwähnt werden, dass WebLOAD Free Edition fast alle Funktionen der kommerziellen Version enthält. Die Einschränkungen betrafen die Anzahl der virtuellen Benutzer (maximal 50 Personen) und einige Ausnahmen für Oracle Forms, Flex / AMF, Streaming / Multimedia-Funktionen.

So haben die kleinen Teams die Möglichkeit, ihre Funktionen zu nutzen. Hier sind einige davon:

  • Unterstützung für wichtige Webtechnologien.
  • Der Benutzer kann die Last vor Ort oder in der Cloud generieren.
  • UI-Assistenten helfen Ihnen, das Skript zu verbessern.
  • Über 80 konfigurierbare Berichtsvorlagen werden von WebLOAD Analytics-Dashboards bereitgestellt.
  • Der Benutzer kann die Ergebnisse der Testfallausführung für verteilte Teams freigeben.
  • WebLOAD kann problemlos in viele gängige Tools integriert werden: Selen, Jenkins, Perfecto Mobile, New Relic und Dynatrace usw.
  • Mögliche Engpässe werden automatisch erkannt.
  • Eine breite Palette von mobilen Testwerkzeugen
  • Kombination aus lokaler und virtueller Benutzerlast in der Cloud.
  • Die hochrangige Kundenbetreuung.
  • Leistungsstarke Korrelationsmaschine.

Einige Schwachstellen des WebLOAD:

  • Es gibt keine Citrix-Unterstützung.
  • WebLOAD konzentriert sich hauptsächlich auf Entwickler als QS-Spezialisten. Daher sind spezielle technische Kenntnisse für die Konfiguration erforderlich.
  • Upgrade kann frühere Skripte nicht verwenden.
  • SAP GUI wird nicht unterstützt.

 

HP Leistungstester (LoadRunner)

LoadRunner

Loadrunner von Hewlett-Packard Enterprise ist eines der am häufigsten verwendeten Tools zum Testen von Lasten.

Das Komponenten von LoadRunner:

  • Das Virtual User Generator (VuGen) dient zum Aufzeichnen eines Skripts und ermöglicht das Entwickeln von Vuser-Skripts (virtuellen Benutzern) für verschiedene Anwendungstypen und Kommunikationsprotokolle.
  • Das Regler ist die Hauptkomponente zur Steuerung der Lastsimulation.
  • Agentenmaschinen (Lastgeneratoren oder Lastinjektoren) sind die Maschinen virtuelle Benutzer verteilt.
  • LoadRunner Analyse und Überwachung ist die detaillierte Leistung Ihrer Testfälle.
  • LoadRunner-Onlinedokumentation sind die vollständigen Lernmaterialien für HP LoadRunner.

Das Hauptteile des Lasttestprozesses im LoadRuner:

  • Belastungstest planen
  • Erstellen Sie Vuser-Skripte
  • Szenario definieren
  • Führen Sie das Szenario aus
  • Ergebnisse analysieren

LoadRunners vorteile:

  • Interaktive Benutzertransaktionssimulation.
  • Eine breite Palette von Anwendungen unterstützen.
  • Leistungsstarke mobile Testwerkzeuge.
  • Es reduziert die Systemanforderungen und menschliches Eingreifen.
  • LoadRunner bietet Aufnahme und Wiedergabe oder Skripterstellung.
  • Effektives Tool zur Verfolgung der Auslastung.
  • Einzelpunktausführung.
  • Optimale Ausnutzung der Lastgeneratorfarm.
  • LoadRunner erkennt schnell und genau die Hauptursache von Problemen mit der Anwendungsleistung.

Etwas nachteile des LoadRunner:

  • Mehrere spezifische Szenarien können nicht über die Befehlszeile gestartet werden.
  • Für die technische Unterstützung während der Ausführung ist ständige Unterstützung erforderlich.
  • Für die LoadRunner-Installation ist viel Speicherplatz erforderlich.
  • Der Controller und VUGen funktionieren nur unter Windows.

 

Rational Performance Tester von IBM

rational_perfomance_tester_ibm

Rational Performance Tester (RPT) ist ein von der IBM Corporation entwickeltes Tool zum Testen von Leistung und Auslastung. Es kann für eine Webanwendung oder eine serverbasierte Anwendung verwendet werden, bei der es sich um einen Ein- und Ausgabeprozess handelt. RPT erstellt eine Demo des ursprünglichen Transaktionsprozesses zwischen dem Benutzer und dem Webservice.

Schlüssel Verdienste des Rational Performance Tester:

  • Eine breite Basis von Anwendungen wie HTTP, SAP, Siebel, SIP, TCP Socket und Citrix wird unterstützt.
  • Es sind keine speziellen Programmierkenntnisse erforderlich.
  • Es bietet die Diagnose von Websphere- und Weblogic-Anwendungsservern.
  • Es wird mit großen Testfällen für mehrere Benutzer ausgeführt.
  • Echtzeitberichte zur sofortigen Erkennung von Leistungsproblemen.
  • Der flexible grafische Testplan, in dem die Last von proportionalen Benutzergruppen angegeben werden kann.
  • Unterstützung für Umgebung und Plattform.
  • Die weiten Bereiche der Tools zur Ursachenanalyse.

Etwas Mängel des Rational Performance Tester:

  • In Rational Performance Tester ist kein Hoch- oder Herunterfahren von Ressourcen möglich.
  • Java Applet-basierte Anwendungen werden nicht unterstützt.
  • Es gibt keine Planungsmöglichkeit.

 

BlazeMeter

Blazemeter

BlazeMeter ist eine der am weitesten verbreiteten Plattformen für den Belastungstest. Es wird sowohl in kostenlosen als auch in kommerziellen Ausgaben angeboten. Sie können maximal 10 Tests mit maximal 50 Benutzern kostenlos durchführen. Der einzige Lastgenerator ist in der kostenlosen Version des Blazemeter verfügbar.

Schlüssel Eigenschaften des Blazemeter:

  • Blazemeter ist 100% kompatibel mit Apache JMeter.
  • Es lässt sich problemlos in andere gängige Open Source-Tools integrieren: Selen, Locust und Gatling.
  • Es besteht die Möglichkeit, Testfälle mit bis zu 1 Million Benutzern auszuführen.
  • Es gibt den direkten Zugang zum Blazemeter aus dem Web.
  • Der Verkehr von Mobilgeräten mit unterschiedlichen Signalstärken und verschiedenen Netzwerken kann mit Blazemeter simuliert werden.
  • Skalierbares Testen von überall.
  • Sie können die Testergebnisse mit Offline herunterladen.
  • Es unterstützt Sandbox-Tests zur Validierung der Skripte für die begrenzte Anzahl von Benutzern für die begrenzte Zeit.
  • Blazemeter bietet maßgeschneiderte und gut illustrierte Berichte, die einfach zu teilen sind.
  • Möglichkeit zum Ändern des Ladevorgangs über die Concurrency Thread Group oder mithilfe der Methode “Limit RPS”.
  • JMeter-Plugin für die Flex-Unterstützung.
  • HLS Plugin für HLS für Video Streaming und Video on Demand.

Einige von Blazemeter Einschränkungen:

  • Dauertestfälle sind in der kostenlosen Version zeitlich begrenzt.

 

NeoLoad von Neotys

neoload

NeoLoad ist das beliebte Tool zur Analyse der Leistung der Website oder Anwendung unter hoher Last. Es arbeitet mit der hohen Effizienz sowohl bei Desktop- als auch bei mobilen Anwendungen. NeoLoad ist in Java geschrieben. Die Ausführung von Testfällen für nicht mehr als 50 virtuelle Benutzer ist kostenlos.

Das Hauptmerkmale und Vorteile von NeoLoad sind:

  • Es unterstützt die neuesten Web- und Mobiltechnologien.
  • Mit den plattformübergreifenden Funktionen von NeoLoad können die Lasten auf einer Vielzahl von Plattformen (Unix, Windows, Linux …) generiert werden.
  • NeoLoad erhält eine Zusammenfassung der Testfallausführung und prüft die Details anhand der Grafiken und statistischen Tabellen. Statistiken werden von Ihren Servern (CPU, Speicher usw.) abgerufen.
  • Reale Testszenarien helfen Ihnen, Leistungsprobleme frühzeitig zu erkennen.
  • Cloud-Integration, Live-Überwachung und echte Geräteintegration werden nicht nur unter Android oder iOS, sondern auch unter Windows Phone und Blackberry unterstützt.
  • Eine ergonomische grafische Oberfläche, die die Testausführungszeit verkürzt.
  • Es besteht die Möglichkeit, das Verhalten virtueller Benutzer zu definieren und Szenarioparameter wie die Laderichtlinie (Konstante, Hochlauf, Spitze oder Benutzerdefiniert) oder die Anzahl der im Test zu simulierenden virtuellen Benutzer festzulegen.
  • Es unterstützt die Konvertierung von Selenium-Skripten
  • Leistungsmonitore (CPU, Arbeitsspeicher, Datenträgerverwendung usw.) sind für Ihre Server festgelegt.
  • Der Seiteninhalt wird unter Last geprüft.
  • Mit dem Proxy-Modus oder dem DNS-Tunnel-Modus können mobile Anwendungen direkt von jedem mobilen Gerät aufgezeichnet werden.
  • Es zeichnet den HTTP-Verkehr zwischen Browser und Server auf.

Etwas Nachteile von NeoLoad:

  • Es funktioniert nicht unter Mac OSX.
  • Es gibt keine Zugriffsseite DOM
  • Es gibt keine Möglichkeit, Start- und Endtransaktionen zu erstellen, um die Antwortzeit zu erfassen.

 

LoadUI von SmartBear

loadUI

LoadUI ist das bekannte Tool, das hauptsächlich für das Testen von Webservices verwendet wird. Es wird sowohl in freier als auch in lizenzierter Version vertrieben. Wenn Sie es mit höherer Effizienz verwenden möchten, sollten Sie es mit einem anderen kostenlosen SmartBear-Produkt verwenden SoapUI.

Die wichtigsten vorteile von LoadUI:

  • Mehrere Leistungsstrategien.
  • Drag & Drop-Schnittstelle.
  • API-Unterstützung.
  • Ausführung von parallelen und isolierten Lasttests.
  • Echtzeit-Feedback zu den Ergebnissen Ihrer Testfälle.
  • Die Möglichkeit, neue Daten hinzuzufügen, während die Anwendung getestet wird.
  • Automatisch aktualisierte Schnittstelle.
  • Es funktioniert mit dem Hauptbetriebssystem.
  • Visuelle LoadUI-Berichte werden in einem sehr leicht verständlichen Grafikformat dargestellt.
  • Während der Ausführung können Testfälle erstellt, konfiguriert und geändert werden.

Etwas schwache Punkte der LoadUI:

  • In Pro-Versionen erstellte Skripts können nicht in kostenlosen Versionen verwendet werden.
  • Alte Projekte können mit Einschränkungen importiert werden.
  • Es ist schwach und für das Testen der Weblast begrenzt.

 

CloudTest von Soasta

CloudTest von Soasta

CloudTest ist das umfassende Tool zum Bereitstellen von Last- und Leistungstests für Web, Mobilgeräte und Apps. Es kann sowohl auf einem oder mehreren physischen Servern als auch in der Cloud gehostet werden.

CloudTest verwendet die Cloud-Dienstanbieter Amazon Web Services und Rackspace für die Verkehrssimulation.

CloudTest Lite ist die kostenlose Testversion. Natürlich gibt es in dieser Ausgabe viele Einschränkungen:

  • Kein 24/7 Support.
  • Es gibt keine globale, cloudbasierte Lastgenerierung
  • Die maximale Anzahl gleichzeitiger virtueller Benutzer beträgt 100 Personen.
  • Es kann nur ein Lastgenerator verwendet werden.

Auf jeden Fall ist dies auch in der Free Edition-Version mächtig.

Die wichtigsten vorteile des CloudTests:

  • Es bietet End-to-End-Leistungstests für Mobilgeräte.
  • Echtzeitanalyse.
  • Testfälle werden schnell erstellt, bearbeitet, ausgeführt und analysiert.
  • Es ist einfach in JMeter und andere häufig verwendete automatisierte Testtools zu integrieren.
  • Die hohe Genauigkeit der Simulation von Web- und mobilen Benutzerverkehr.
  • Es bietet 360 ° -Leistungsberichte der tatsächlichen Benutzerüberwachung.
  • Es besteht die Möglichkeit, Benutzer während der Testfallausführung hinzuzufügen oder zu löschen.

Etwas nachteile des CloudTests:

  • Die kostenlose Edition ist zu limitiert.
  • Die SLA-Konfiguration ist in CloudTest nicht verfügbar.
  • Es gibt keine Hardwaresteuerungsfunktionen.
  • CloudTest kann nicht für automatisierte Flex-, Multimedia- oder Silver Light-basierte Apps verwendet werden.

 

LoadStorm

loadstorm-logo

LoadStorm ist das benutzerfreundliche und kostengünstige Tool, das zum Testen der Web- und Mobilanwendungen verwendet werden kann. Es hat Open Source und kommerzielle Ausgaben. Sie können Testfälle mit maximal 50 virtuellen Benutzern kostenlos ausführen.

LoadStorm-Schlüssel Eigenschaften:

  • Es ist keine spezielle Installation erforderlich.
  • Das Aufzeichnen eines Skripts dauert einige Minuten.
  • Weltweit verteilte Cloud-Plattform zum Ausführen von Testfällen
  • Gut angepasste Berichte.
  • Analytics im Echtzeitmodus.
  • Performance Intelligence beim Ausführen von Testfällen.
  • Ständige Online-Unterstützung
  • Es bietet eine geografische Verteilung des Verkehrs.

Etwas Nachteile des LoadStorm:

  • LoadStorm kann nur Webanwendungen testen, die über die Amazon Cloud erreichbar sind.
  • Betriebssystem Windows wird für die Verwendung benötigt.

 

Smart Meter

Smartmeter-Lasttest-Tools

Smart Meter hat die sehr leistungsfähige kostenlose Version, obwohl es sich um ein kommerzielles Tool für Last- und Leistungstests handelt. Im Gegensatz zu anderen kommerziellen Tools aus unserer Liste können Sie Testfälle mit 50 virtuellen Benutzern kostenlos ausführen. Außerdem haben Sie 2 Lastgeneratoren für Ihre Tests. Die Hauptvorteile des SmartMeter:

  • Testberichte, die automatisch generiert werden, enthalten die vollständigen Informationen über den Test und dessen Ergebnisse.
  • Multifunktionaler Test-Szenario-Rekorder.
  • Es besteht die Möglichkeit, Lasttests von verschiedenen Standorten aus durchzuführen.
  • Es ist einfach in Jenkins, Bamboo und Maven etc. zu integrieren.
  • Mehrere Monitore zeigen die Ergebnisse der Ausführung von Testfällen in Echtzeit an.
  • Es besteht die Möglichkeit, Lasttestfälle mit Selen zu kombinieren.
  • Permanente Überwachung der Testumgebung.

Einige Einschränkungen des SmartMeters:

  • Es ist nicht einfach, ein Werkzeug zu erlernen.
  • Die maximale Ausführungszeit für Testfälle in der kostenlosen Version beträgt nur 15 Minuten.

 

Vollkommerzielle Test-Tools

Schließlich werden kommerzielle Tools mit nur kostenpflichtiger Version berücksichtigt. Natürlich haben alle eine kurze kostenlose Testphase. Es kann jedoch nicht als Open-Source-Edition definiert werden.

Silk Performer von Micro Focus

silk_performer

Silk Performer (früher bekannt als Borland) ist das leistungsstarke Tool zum Testen der Auslastung von Web-, Mobil- und Unternehmensanwendungen. Mithilfe integrierter Diagnose- und Trendberichte können die Schwachstellen der Anwendung unter der Lastspitze des Kunden identifiziert werden.

Schlüssel Eigenschaften des Silk Performer:

  • Es unterstützt alle wichtigen Webumgebungen: HTML5, AJAX, Responsive Web Design, Adobe Flash / Flex und Microsoft Silverlight.
  • Eine breite Palette von Testwerkzeugen für mobile Webanwendungen und native Anwendungen.
  • Für die Simulation virtueller Benutzer sind minimale Hardwareressourcen erforderlich.
  • Es werden gut angepasste Berichte mit Tabellen und Grafiken erstellt.
  • Silk Performer verfügt über eine benutzerfreundliche Korrelation und Parametrisierung.
  • Es unterstützt die integrierte Serverüberwachung.
  • Die visuelle Ursachenanalyse hilft, Engpässe zu erkennen.
  • Es hat die einfachen Skriptkorrelationen.
  • Unbegrenzte Skalierbarkeit der Cloud.
  • Sie können Ihre Anwendungen auf verschiedenen mobilen Plattformen und Verbindungsstandards testen: iOS, Android, BlackBerry, GPRS, HSPA +, EDGE und LTE.

Etwas schwache Punkte des Silk Performer:

  • Es besteht eine unzureichende Integration mit umfassenden Diagnosetools für die durchgehende Leistungsüberwachung.
  • Es ist nur für Windows konzipiert.
  • Für den Auslastungstest mit dem Silk Performer ist viel Arbeitsspeicher erforderlich.
  • Möglicherweise liegt ein Problem mit der Einstellung des Ramp-Down-Musters vor.

 

WAPT

WAPT-Lasttest-Tools

WAPT ist das beliebte Tool, mit dem Webservices, mobile Anwendungen und alle Arten von Websites, von E-Shops bis hin zu ERP- und CRM-Unternehmenssystemen, gleichermaßen getestet werden können. Mit nur wenigen Klicks können Sie Testfälle mit Tausenden von virtuellen Benutzern erstellen und ausführen. Mit WAPT können Sie steuern, wie diese virtuellen Benutzer angepasst werden. Die wichtigsten Verdienste von WAPT:

  • Es ist einfach zu installieren.
  • Schnelle Testaufnahme und Design.
  • WAPT unterstützt RIA-Technologien und mobile Apps.
  • Erweiterte Fehlerberichte basierend auf verschiedenen Indikatoren: Fehler auf Netzwerkebene, HTTP-Antwortcodes, Zeitüberschreitungen, Serververzögerungen und Überprüfung der Antworten nach Seiteninhalt.
  • Sicherheitstests für Websites.
  • Es besteht die Möglichkeit, die Ausführung von JavaScript-Code in die virtuellen Benutzerprofile aufzunehmen.
  • Gut illustrierte und detaillierte Berichte sind bereits zur Laufzeit verfügbar.
  • Mit dem integrierten Log Viewer können Sie jede ausgeführte Sitzung Schritt für Schritt durchsuchen.

Mängel von WAPT:

  • Betriebssystem Windows ist erforderlich, um dieses Tool zu installieren.
  • WAPT kann keine Skripte erstellen.

 

Testing Anywhere mit Automation Anywhere

Testing Anywhere konzentriert sich auf das Testen von Websites, Steuerelementen, Objekten und GUI-Frontends.

Es gibt fünf Methoden von Testfallerstellung in der Prüfung überall:

  • Web-Aufzeichnung
  • Objekterfassung
  • Bilderkennung
  • Intelligente Aufnahme
  • Editor

Schlüssel Eigenschaftendes Testens überall:

  • Programmierkenntnisse sind nicht erforderlich.
  • Testfälle können einfach erstellt und bearbeitet werden.
  • Es besteht die Möglichkeit, Migrationstests durchzuführen.
  • Visuelle Testfallautomatisierung
  • Automatische Erkennung von Sprachobjekten. Es funktioniert mit Java, Net, WPF, Silverlight, HTML, Flash und Flex.
  • Testing Anywhere bietet die einzige Plattform zum Testen.

Etwas Einschränkungen des Testens überall:

  • Es unterstützt das einzige Windows-Betriebssystem.
  • Beim Testen von iOS-Apps können Probleme auftreten.
  • Die Testplattform ist nicht für Anwendungen vorgesehen, die in älteren Sprachen geschrieben wurden.

 

StormRunner Load von Hewlett Packard Enterprise

Sturmläufer

StormRunner Load ist das neueste Lasttest-Tool unter den von Hewlett Packard Enterprise angebotenen Produkten. Es kann sowohl für das Web als auch für mobile Tests verwendet werden. StormRunner ist ein Cloud- / SaaS-basierter Dienst, der den Zugriff und die Nutzung vereinfacht.

StormRunner vorteile:

  • Es ist leicht und einfach zu bedienen.
  • Die Webprotokolle HTTP / HTML (sowohl Web als auch Mobile), SAP Web, Java, Flex, TruClient Web, TruClient Native Mobile und TruClient Mobile werden vom StormRunner unterstützt.
  • Minimalistische und reaktionsschnelle Oberfläche.
  • Hohe Skalierbarkeit. Es besteht die Möglichkeit, Testfälle mit mehr als einer Million geografisch verteilten Web- und Mobilbenutzern auszuführen.
  • Virtuelle Benutzer können während der Testfallausführung entfernt oder hinzugefügt werden.
  • Die Lasttestinfrastruktur wird automatisch bereitgestellt.
  • Es ist eng in Jenkins, Dynatrace, Gatling, Docker, AWS Code Pipeline und New Relic integriert.
  • Es besteht die Möglichkeit, Performance Center-Server außer Betrieb zu setzen.
  • Es bietet Lastgeneratoren an verschiedenen geografischen Standorten.
  • Schnelle Erkennung des Problems.
  • Gut angepasster Analysebericht über Network Virtualization.

Etwas Einschränkungen des StormRunner:

  • Es gibt keine Möglichkeit, die Netzwerkanalyse mit JMeter-Skripten zu verwenden.
  • Es gibt kein FTP für Bulk-Uploads.
  • Es gibt keine Möglichkeit, Tests zu einem späteren Zeitpunkt zu planen.
  • Andere Elemente als Skripte konnten nicht angehängt werden.

Nun sind Sie über die besten Tools für das Laden informiert testen. Wie Sie gelesen haben, haben alle ihre eigenen Vorzüge und Einschränkungen bei der Verwendung. Einige davon sind für kleine Teams vorzuziehen, andere für große Entwicklerunternehmen. Wie auch immer, es hängt von verschiedenen Faktoren ab, welche man in der jeweiligen Situation auswählen sollte.

Stimmen Sie unserer Liste zu? Vielleicht wissen Sie, dass das Tool einen Platz in unserer Bewertung verdient. Teilen Sie Ihre Meinungen und Erfahrungen in den Kommentaren unten.

TOP 20 инструментов нагрузочного тестирования в 2017 году

Yana Gusti 13/05/2017

В этой статье мы рассмотрим 20-ку лучших инструментов для проведения нагрузочного тестирования. Здесь вы сможете найти информацию как о бесплатных, так и платных инструментах, которые повысят эффективность вашего тестирования.

Бесплатные инструменты для проведения нагрузочного тестирования.

Наш обзор мы начнём с инструментов, которые предоставляются в открытом доступе.

Apache JMeter™

Apache_JMeter

Apache JMeter, наверное, один из наиболее популярных и часто используемых инструментов нагрузочного тестирования.  Изначально JMeter был разработан для тестирования web и FTP приложений. В наше время, он также часто используется для функционального тестирования, тестирования серверов баз данных и т.п. Для JMeter не требуется современная инфраструктура для тестирования нагрузки. Он обеспечивает поддержку нескольких инжекторов нагрузки, управляемых одним контроллером.

Давайте рассмотрим как обычно работает JMeter. На рисунке внизу Вы можете увидеть завершённый рабочий процесс JMeter.

JMeter workflow

Основные функции и преимущества JMeter.

Цена.  JMeter – бесплатный инструмент, и кто угодно может использовать его ресурсы в своей разработке и тестировании.

Независимость платформы. Так как  JMeter является 100% Java десктопным приложением, он может быть запущен на многих платформах.

Инсталляция.  Для работы с JMeter не требуется установка никакого специального программного обеспечения. Всё что вам нужно сделать, это скопировать и запустить исполняемый  файл на вашем компьютере.

Дружественный GUI (графический интерфейс пользователя).  На данный момент, он может использоваться в  3 режимах: GUI Mode, Server Mode, и Command Line Mode. Для тесного ознакомления с  JMeter требуется совсем немного времени.

 Визуализация результатов тестирования. Результаты исполнения тест кейсов могут отображаться в различном виде: таблицы, диаграммы, графики, лог файлы, дерево решений и т.п.

Многопотоковый фреймворк. JMeter обеспечивает параллельную и одновременную выборку различных функций отдельной группой потоков.

Высокий уровень расширяемости. У вас есть возможность писать свои тест кейсы. Кроме того, специальные плагины визуализации используются для поддержки расширяемости вашего тестирования.

Моделирование.  JMeter даёт возможность моделировать поведение нескольких пользователей с параллельными потоками и создавать большую нагрузку на тестируемые веб-приложения.

Поддержка большого количества протоколов. Он поддерживает все основные протоколы – HTTP, SOAP, LDAP, JDBC,  JMS, и FTP.

Тестирование скриптов.  Jmeter интегрируется с Selenium и Bean Shell для проведения автоматического тестирования.

Опции “Record” и “Playback – Record”. Активность пользователя в браузере может быть записана и смоделирована в веб-приложении с помощью JMeter.

Интегрированная поддержка в режиме реального времени. Коллекторы Apache Tomcat позволяют осуществлять мониторинг в режиме реального времени.

Лёгкая интеграция с бесплатными библиотеками. JMeter интегрирован с бесплатными библиотеками  Jenkins, Maven и Gradle.

У JMeter имеются также некоторые недостатки:

  • Нет возможности для записи HTTPS-связи.
  • Нет возможности для перехвата трафика AJAX.
  • Ограниченные возможности создания отчётов.

 

The Grinder

the grinder-logo

The Grinder ещё один популярный фреймворк для нагрузочного тестирования, написанный на Java.  По умолчанию основным языком для написания скриптов в The Grinder является Jython, специальная реализация Java в Python. Тестовые сценарии также могут быть написаны на языке Clojure.

Основные составные части The Grinder:

  • The Grinder Console – это базовая интерактивная среда разработки (IDE), которая используется для создания и редактирования тест наборов. Она осуществляет мониторинг результатов в режиме реального времени, а также контролирует различные агенты The Grinder.
  • The Grinder Agents– специальные бесголовочные генераторы нагрузки.  Они могут иметь несколько рабочих элементов (Workers) для создания.

На рисунку внизу изображена система, находящаяся в процессе нагрузочного тестирования в The Grinder.

grinder load testing

 

Ключевые характеристики The Grinder :

  • The Grinder – кроссплатформенный инструмент. Его можно запускать где угодно, где запускается виртуальную машину Java (Java Virtual Machine).
  • Подержка большого количества протоколов.
  • Быстрая и мощная разработка сценариев
  • Простые графики производительности для всех транзакций в одной вкладке.
  • Пользователь может писать собственные плагины для документированного интерфейса.
  • Гибкая настройка параметров.
  • У пользователя есть возможность загрузки Java API в качестве тест кейса из сервера HTTP, SOAP и REST сервисов.
  • The Grinder обеспечивает большая гибкость при загрузке и выполнении сторонних библиотек.
  • Интеграция с JIRA.

Недостатки The Grinder:

  • Случаются сбои памяти в сценариях загрузки больших файлов.
  • Консоль Grinder не может динамически регулировать уровни нагрузки, создаваемой агентами.
  • Отстутсвуюют специальные инструменты дополнительного анализа.
  • Требуются специальные знания языков Jython или Clojure.

 

Gatling

Gatling-logo

 

Gatling – мощное оружие для проведения нагрузочного тестирования, написанное на языке Scala. Существуют два исполняемых файла в Gatling: один для записи тест кейсов, а другой для их выполнения. Структурно можно выделить четыре части Gatling:

  • HTTP protocol configuration помогает определить базовый URL, с которым вы будете запускать свои тесты. Кроме того, могут быть определены такие параметры: пользовательский агент, языковой заголовок и соединение.
  • Headers definition предоставляет заголовки для отправляемого на сервер запроса.
  • Scenario definition определяет набор действий, выполняемых для имитации взаимодействия пользователя с вашим приложением.
  • Simulation definition предназначен для определения количества пользователей, которые будут одновременно выполнять сценарий загрузки в течение определенного периода времени.

Основные преимущества Gatling:

  • Он работает с любой операционной системой и любым браузером.
  • Gatling поддерживает красочные и информативные графические отчеты, содержащие ценную информацию для анализа.
  • Он может выполнять свои сценарии в разных облаках для тестирования.
  • Gatling легко интегрируется с Jenkins через Jenkins-plugin, а также запускает ваши тесты через Gradle и Maven с помощью плагинов Maven и Gradle.
  • Gatling использует небольшой объем памяти.
  • Он сокращает время отладки тест кейсов.
  • Gatling позволяет легко обнаружить ошибки и недостатки в начале цикла разработки.

Недостатки Gatling:

  • API изменялась радикальным образом. Поэтому, могут возникнуть проблемы с запуском тест кейсов из старых версий.
  • Gatling не позволяет равномерно распределить нагрузку между разными машинами.
  • Отсутствует возможность горизонтального масштабирования.

 

Locust

locust

Locust – свободно распространяемый набор тестовых инструментов для нагрузочного тестирования, управляемый кодом на Python. Он часто используется для тестирования веб сайтов (или других систем), показывая, сколько  пользователей одновременно может обрабатывать система в условиях нагрузки.

Locust основывается на оригинальной идее.  Согласно этой идее, полчища саранчи атакуют ваш сайт во время теста. Вы можете смоделировать поведение каждой особи саранчи (пользователя). Такая атака отслеживается через веб-интерфейс в режиме реального времени и помогает определить слабые места вашего кода.

Основные преимущества Locust:

  • Любая система может быть протестирована с помощью Locust
  • Это кроссплатформенный инструмент с легко расширяющимися возможностями.
  • Код Locust удобен для многократного использования.
  • Высокий уровень кастомизации. Существует возможность объединять несколько запросов в один сценарий, группируя запросы с определенными кастомными параметрами.

Недостатки Locust:

  • Потери статистических данных. Locust собирает и отображает статистику до тех пор, пока не будет достигнуто требуемое количество пользователей. После этого все статистические данные сбрасываются, и начинается сбор новых.
  • Тестирование на Locust нельзя остановить. Невозможно определить, сколько активных действий должен имитировать каждый пользователь.
  • Отсутствует доступ ко всем ресурсам. Например, Locust не будет запрашивать URL-адрес, если вы не дадите ему явные указания сделать это.

 

ApacheBench (ab) – Apache HTTP server benchmarking tool

ApacheBench

ApacheBench, наверное, один из самых простых инструментов нагрузочного тестирования. Первоначально она разрабатывалась как программа для тестирования Apache HTTP Server с помощью командной строки. На самом деле, ApacheBench может быть эффективным для тестирования любого веб-сервера.

Если вы пользователь macOS или Linux, ApacheBench уже установлен на вашем компьютере. Если же вашей операционной системой является Windows, просто инсталлируйте Apache и вы увидите ab.exe в папке apache/bin.

Основные преимущества ApacheBench:

  • Он лёгок в использовании и изучении.
  • Не требуется установка никакого дополнительного ПО.
  • ApacheBench – инструмент, который экономит ваше время и деньги.
  • В ApacheBench существует возможность установить общее количество запросов, количество параллельно выполняемых запросов и ограничение по времени для всех запросов.

Недостатки ApacheBench:

  • Ограниченное число функций.
  • Отсутствует возможность полноценной и всесторонней оценки производительности приложения.
  • Нет поддержки HTPS протокола.

 

Siege by Joe Dog

siege_joe_dog

Siege – специальная утилита для нагрузочного тестирования HTPP и HTPS протоколов. Он также может использоваться в качестве инструмента для тестирования веб-серверов. Siege является  GNU/Linux-инструментом, но сейчас он был успешно перенесен в AIX, Solaris, HP-UX и BSD.

Ключевые характеристики Siege:

  • Поддержка HTTP, HTTPS, FTP протоколов, кукис, а также простых проверок подлинности.
  • Он легко компилируется с операционными системами, созданными на базе Unix.
  • Siege – многопотоковый инструмент
  • Существует возможность эмуляции пользователей.
  • Он может запускаться с несколькими IP-адресами с одного компьютера.
  • Поддерживается выполнение простых тестовых сценариев.

Некоторые недостатки Siege:

  • Он не может быть запущен на Windows. Хотя, вы можете решить эту проблему с помощью Cygwin.
  • Siege – ресурсоёмкий инструмент.
  • Он не подходит для серьезных и масштабных испытаний с сотнями тысяч потоков.

 

Taurus

taurus

Taurus  – открытая для использования, мультифункциональная платформа, разработанная BlazeMeter. Taurus расшифровывается как Test Automation Running Smoothly (Автоматизация тестов запускается гладко). Одной из основных идей создания Taurus, было усиление возможностей таких бесплатных инструментов как JMeter, Selenium, Grinder, и Gatling.

Преимущества Taurus:

  • У Taurus простая настройка и обновления.
  • YAML или JSON упрощают управление версиями тестовых сценариев
  • Taurus легко совмещается с JMeter, Selenium, Grinder, и Gathling, существенно расширяя их производительность.
  • Отчёты в режиме реального времени доступны во время исполнения тест кейсов.
  • Уже существующие сценарии могут быть повторно использованы в Taurus.
  • Тесная интеграция с BlazeMeter.
  • Простой способ определения гибких критериев прохождения / отказа.
  • Taurus запускается всюду, где можно запустить Python и Java
  • Taurus интегрирован с CI инструментами, такими как Jenkins.

Некоторые недостатки Taurus:

  • Taurus поглощает много ресурсов.
  • Изменение конфигурации оборудования выходит за пределы его возможностей.
  • Не поддерживаются долговременные тесты на выносливость.

Коммерческие инструменты нагрузочного тестирования, которые имеют бесплатные версии.

Следующая группа инструментов тестирования нагрузки, которую мы будем рассматривать, это коммерческие инструменты, которые имеют бесплатные версии. Конечно, у большинства коммерческих инструментов для тестирования нагрузки есть бесплатный пробный период. Но в этой части мы поговорим об инструментах с постоянными бесплатными версиями.

Как правило, существуют разные виды ограничений использования этих инструментов. Например, количество пользователей, количество исполненных тест кейсов в месяц, время тестирования и т. п.

WebLOAD RadViews

webload

WebLOAD инструмент для нагрузочного тестирования и анализа приложений, распространяемый RadView Software. Этот мощный инструмент с одинаковой эффективностью может применяться как для тестирований веб-приложений, так и для мобильного тестирования. Тестовые сценарии генерируются в JavaScript и могут быть расширены и отредактированы с использованием различных инструментов в среде IDE.

WebLOAD распространяется на бесплатной и коммерческой основе. Следует упомянуть, что WebLOAD Free Edition (бесплатная версия) включает в себя почти все характеристики коммерческой версии. Ограничения касаются максимального количества виртуальных пользователей (максимум 50 человек), некоторых исключений из Oracle Forms, Flex/AMF, а также потоковых и мультимедиа характеристик.

То есть, и небольшие команды могут использовать преимущества WebLOAD. Вот некоторые из них:

  • Поддержка основных веб-технологий.
  • У пользователя есть возможность генерировать нагрузку в заданном месте или в облаке.
  • Мастер интерфейса помогает улучшить скрипт.
  • Аналитические панели WebLOAD предоставляют более 80 настраиваемых шаблонов отчетов.
  • Пользователь может автоматически распространять результаты тест кейсов между членами своей команды.
  • WebLOAD легко интегрируется с такими популярными инструментами: Selenium, Jenkins, Perfecto Mobile, New Relic, Dynatrace и т.д.
  • Автоматическое определение потенциально уязвимых мест.
  • Широкий набор средств для мобильного тестирования
  • Комбинация локальной и виртуальной пользовательской нагрузки.
  • Высокоуровневая пользовательская поддержка.
  • Мощный корреляционный механизм.

Недостатки  WebLOAD:

  • Отсутствует поддержка Citrix.
  • WebLOAD в большей степени сфокусирован на разработчиках, а не на специалистах по QA. Поэтому для его конфигурации требуются специальные технические навыки.
  • Обновление не позволяет использовать предыдущие сценарии.
  • Не поддерживается SAP GUI.

 

HP Performance Tester (LoadRunner)

LoadRunner

LoadRunner, продукт компании Hewlett Packard Enterprise, один из самых широкого используемых инструментов для проведения нагрузочного тестирования.

Компоненты LoadRunner:

  • Virtual User Generator (VuGen) предназначен для записи тестовых сценариев. Позволяет разрабатывать сценарии поведения виртуальных пользователей (Vuser) для различных типов приложений и протоколов.
  • Controller является основным компонентом для управления имитацией нагрузки.
  • Agents Machines (Load Generators или Load Injectors) – виртуальные машины, через которые происходит распределение виртуальных пользователей.
  • LoadRunner Analysis and Monitoring обеспечивает детальный анализ результатов исполнения тест кейсов.
  • LoadRunner Books Online полноценная подборка материалов для изучения HP LoadRunner.

Основные этапы процесса тестирования с LoadRuner:

  • Планирование нагрузочного теста
  • Создание скрипта для виртуального пользователя
  • Определение сценария
  • Запуск сценария
  • Анализ результатов

Преимущества LoadRunner:

  • Интерактивное моделирование активности пользователя.
  • Широкий набор инструментов поддержки приложения.
  • Мощный инструментарий для проведения мобильного нагрузочного тестирования.
  • Сокращает системные требования и минимизирует вмешательство человека.
  • LoadRunner предоставляет возможность записи, воспроизведения или создания сценариев.
  • Эффективный инструмент для отслеживания использования.
  • Возможность использования из одного пункта
  • Оптимальное использование генератора нагрузки.
  • LoadRunner быстро и точно определяет основную причину проблем производительности приложений.

Некоторые недостатки LoadRunner:

  • Невозможно запустить несколько сценариев из командной строки.
  • Необходима постоянная техническая поддержка во время исполнения тест кейсов.
  • Для установки LoadRunner требуется немало места на жёстком диске.
  • The Controller и VUGen работают только в Windows

 

BlazeMeter

Blazemeter

BlazeMeter – популярная платформа для проведения нагрузочного тестирования. Предлагается бесплатная, а также различные платные версии.  В бесплатной версии можно проводить запуск не более 10 тест кейсов с максимальным количеством не более 50 пользователей для каждого случая. Также в бесплатной версии предлагается только один нагрузочный генератор.

Ключевые характеристики Blazemeter:

  • Blazemeter на 100% совместима с Apache JMeter.
  • Легко интегрируется с другими популярными бесплатными инструментами: Selenium, Locust, и Gatling.
  • Возможность запускать тест кейсы с количеством виртуальных пользователей до одного миллиона.
  • Прямой Интернет доступ к Blazemeter.
  • Blazemeter может моделировать трафик с мобильных устройств с различными уровнями сигнала и различными сетями.
  • Масштабируемое тестирование из любого места.
  • Есть возможность загрузки результатов тестирования для использования их офлайн.
  • Поддержка Sandbox тестов для проверки подлинности сценариев для ограниченного числа пользователей в течение ограниченного времени.
  • В Blazemeter имеются высоко кастомизированные и хорошо иллюстрированные отчёты, которые легко распространяются между членами команды.

Недостатки Blazemeter:

  • Отсутствует возможность изменения пользовательской нагрузки во время исполнения тест кейса.
  • Blazemeter нельзя использовать с Flex, Silverlight или Multimedia протоколами.
  • Не поддерживаются тест кейсы на выносливость с временем исполнения более 3 часов.

 

 Rational Performance Tester by IBM

rational_perfomance_tester

Rational Performance Tester (RPT) – инструмент тестирования производительности и нагрузки, разработанный IBM Corporation. Его можно использовать для тестирования веб и серверных приложений, где присутствует процесс ввода и вывода. RPT создает демонстрацию исходного процесса взаимодействия между пользователем и веб-службой.

Ключевые характеристики Rational Performance Tester:

  • Поддержка большого количества приложений: HTTP, SAP, Siebel, SIP, TCP Socket и Citrix.
  • Не требуется никаких специальных знаний в программировании.
  • Поддерживает диагностику серверов Websphere и Weblogic приложений.
  • Возможность запуска тест кейсов с огромным количеством пользователей.
  • Генерирует отчёты в режиме реального времени для немедленной идентификации проблемы производительности.
  • Гибкий графический планировщик тестов, в котором нагрузка может быть пропорционально распределена между группами пользователей.
  • Поддержка различных платформ и среды тестирования
  • Широкий набор инструментов для анализа первичных причин возникновения ошибок.

Некоторые недостатки Rational Performance Tester:

  • Отсутствует возможность уменьшение или наращивания ресурсов.
  • Не поддерживает тестирование приложений на Java Applet.
  • Отсутствует возможность планирования.

 

NeoLoad by Neotys

neoload

NeoLoad – популярный инструмент для анализа производительности веб-сайта или приложения под большой нагрузкой. Он работает с высокой эффективностью как при тестировании десктопных, так и  мобильных приложений. NeoLoad написан на языке Java. Выполнение тест кейсов с количеством виртуальных юзеров не более 50, является бесплатным.

Ключевые характеристики и преимущества NeoLoad:

  • Поддержка самых современных мобильных и веб технологий.
  • Кросcплатформенные возможности NeoLoad позволяют генерировать нагрузку на различных платформах – Unix, Windows, Linux.
  • NeoLoad получает резюме выполнения тест кейса, а затем изучает его детали, используя графики и статистические таблицы. Статистика поступает с ваших серверов, процессора, памяти и т.п.
  • Реалистические тестовые сценарии помогают быстрее выявить проблемы с производительностью.
  • Облачная интеграция, мониторинг в режиме реального времени, интеграция с реальными устройствами поддерживаются не только на Android или iOS, но также на Windows Phone и Blackberry.
  • Эргономичный графический интерфейс, сокращающий время выполнения теста.
  • Существует возможность моделировать поведение виртуального пользователя и устанавливать параметры сценария, такие как политика загрузки (постоянная, нарастающая, максимальная или пользовательская) или число виртуальных пользователей, которые будут смоделированы в тест кейсе.
  • Поддерживает преобразование скриптов Selenium
  • Мониторы производительности (процессор, память, использование диска и т. д.) настроены для ваших серверов.
  • Содержимое страницы проверяется под нагрузкой.
  • Предоставляет возможность записывать любое мобильное приложение непосредственно с любого мобильного устройства с использованием режима прокси или туннеля DNS.
  • Осуществляется запись HTTP траффика между браузером и сервером.

Недостатки NeoLoad:

  • Не функционирует в Mac OSX.
  • Нет страницы доступа DOM
  • Нет средств для создания начальных и конечных действий, чтобы фиксировать время отклика.

 

 LoadUI by SmartBear

LoadUI – известный инструмент, использующийся преимущественно для нагрузочного тестирования web сервисов. Существует бесплатная, а также платные версии. Если вы хотите использовать LoadUI с большей эффективностью, скомбинируйте его с другим бесплатным продуктом компании SmartBear –  SoapUI.

Основные преимущества LoadUI:

  • Большое количество стратегий исполнения тест кейсов.
  • Интерактивный интерфейс.
  • Поддержка API.
  • Параллельное и обособленное исполнение тест кейсов.
  • Фидбек по результам исполнения тест кейсов в режиме реального времени.
  • Возможность добавлять новые данные даже при тестировании приложения.
  • Автоматически обновляемый интерфейс.
  • Функционирует во всех основных операционных системах.
  • Визуальные отчеты LoadUI представлены в графическом формате, очень удобном для понимания.
  • Возможность создавать, настраивать и изменять тест кейсы во время выполнения.

Некоторые недостатки LoadUI:

  • Скрипты, созданные в платных версиях, не могут быть использованы в бесплатной.
  • Старые проекты импортируются с некоторыми ограничениями.
  • Ограниченные возможности для тестирования веб-нагрузки.

 

CloudTest by Soasta

soasta-cloud test

CloudTest – это полноценный инструмент для проведения нагрузочного тестирования, а также тестирования производительности веб и мобильных приложений. Он может размещаться на одном или нескольких физических серверах, а также в облаке. Такие поставщики облачных сервисов как Amazon Web Services и Rackspace используются CloudTest для иммитации трафика.

CloudTest Lite – бесплатная версия. Конечно, в этой версии есть много ограничений:

  • Отстуствует круглосуточная поддержка
  • Отсутствует глобальная облачная генерация нагрузки.
  • Максимальное количество виртуальных пользователей – 100 человек.
  • Может использоваться только один генератор нагрузки.

Основные преимущества CloudTest:

  • Обеспечивает завершённое тестирование производительности мобильных устройств.
  • Аналитика в режиме реального времени.
  • Тест кейсы быстро создаются, редактируются, выполняются и анализируются.
  • CloudTest легко интегрируется с JMeter и другими часто используемыми инструментами автоматического тестирования.
  • Высокая точность моделирования сетевого и мобильного пользовательского трафика.
  • Полноценные отчёты о поведении пользователей.
  • Возможность добавлять или удалять пользователей во время выполнения тест кейса.

Недостатки CloudTest:

  • Бесплатная версия довольно таки ограничена.
  • SLA конфигурация недоступна в CloudTest.
  • Нет контроля за изменениями возможностей оборудования.
  • Отсутствует возможность использовать CloudTest для приложений Flex, Multimedia или Silver light.

 

LoadStorm

loadstorm-logo

LoadStorm – это простой в использовании, экономичный инструмент, который может быть использован для нагрузочного тестирования мобильных  и веб-приложений. Существует открытая и платные версии этого продукта. Вы можете бесплатно запускать тест кейсы с не более чем 50-ью виртуальными пользователями.

Основные преимущества LoadStorm:

  • Не требуется специальная установка.
  • Для записи сценария требуется всего несколько минут.
  • Распространённая по всему миру, облачная платформа для запуска тест кейсов.
  • Хорошо настраиваемые отчёты.
  • Формирование аналитических отчётов в режиме реального времени.
  • Анализ производительности во время использования тест кейсов.
  • Постоянная он-лайн поддержка.
  • Обеспечивает географическое распределение трафика.

Недостатки LoadStorm:

  • С помощью LoadStorm можно тестировать только веб-приложения, доступные из облака Amazon.
  • Обязательно наличие OS Windows для его использования.

 

Smart Meter

SmartMeter

Smart Meter имеет очень мощную бесплатную версию, хотя это коммерческий инструмент для тестирования нагрузки и производительности. В отличие от других коммерческих инструментов из нашего списка, у вас есть возможность запускать тестовые примеры с 50 виртуальными пользователями бесплатно.

Также у вас есть 2 генератора нагрузки для тестирования.

Основные преимущества SmartMeter:

  • Отчёты о тестировании формируются автоматически, и содержат всю необходимую информацию о результатах исполнения тест кейсов.
  • Многофункциональный регистратор сценариев тестирования.
  • Возможность проведения нагрузочного тестирования из различных локаций.
  • Легко интегрируется с Jenkins, Bamboo, и Maven.
  • Несколько мониторов отображают результаты выполнения тест кейсов в режиме реального времени.
  • Возможность комбинирования тест кейсов с Selenium.
  • Постоянный мониторинг среды тестирования.

Недостатки SmartMeter:

  • Сложный в изучении инструмент.
  • Максимальное время исполнения тест кейса в бесплатной версии ограничено 15 минутами.

 

Полностью коммерческие инструменты

Наконец, мы рассмотрим коммерческие инструменты, которые имеют только платные версии. Естественно, все они имеют некоторый короткий период для бесплатного пробного использования. Но это не может быть определено как бесплатные версии.

Silk Performer from Micro Focus

silk_performer

Silk Performer (ранее известный как Borland) является мощным инструментом для тестирования нагрузки веб-приложений, мобильных и корпоративных приложений.Он помогает выявить уязвимые места приложения под пиковой пользовательской нагрузкой, используя встроенные средства диагностики и трендовые отчеты.

Ключевые характеристики Silk Performer:

  • Поддерживает все основные сетевые среды: HTML5, AJAX, Responsive Web Design, Adobe Flash/Flex, и Microsoft Silverlight.
  • Широкий спектр инструментов тестирования мобильных, нативных и веб-приложений.
  • Для моделирования поведения виртуальных пользователей требуются минимальные технические ресурсы.
  • Он генерирует хорошо настроенные отчеты с таблицами и графиками.
  • Silk Performer имеет удобную корреляцию и параметризацию.
  • Поддержка мониторинга интегрированных серверов.
  • Визуальный анализ первичных причин ошибок помогает выявить уязвимые места.
  • Неограниченная облачная масштабируемость.
  • Возможность тестировать ваши приложения на различных мобильных платформах и стандартах связи: iOS, Android, BlackBerry, GPRS, HSPA+, EDGE, и LTE.

Некоторые ограничения Silk Performer:

  • Недостаточная интеграция с инструментами глубокой диагностики для полноценного мониторинга производительности.
  • Разработан только для Windows.
  • Для тестирования нагрузки с Silk Performer требуется много памяти.
  • Возможны, проблемы с настройкой паттерна замедления.

 

WAPT

wapt

WAPT – популярный инструмент, который одинаково эффективен для нагрузочного тестирования веб сервисов, мобильных приложений, а также всех типов веб сайтов, от интернет-магазинов до корпоративных ERP и CRM систем.

Вы можете создавать и выполнять тест кейсы с тысячами виртуальных пользователей, сделав всего несколько кликов. WAPT позволяет вам контролировать кастомизацию этих виртуальных пользователей.

Основные преимущества WAPT:

  • Простая установка.
  • Быстрая запись тест кейсов и дизайн.
  • WAPT поддерживает RIA технологии и тестирование мобильных приложений.
  • Расширенные сообщения об ошибках на основе разных индикаторов: ошибки сетевого уровня, коды ответа HTTP, тайм-ауты, задержки на сервере и проверка ответа по содержимому страницы.
  • Тестирование безопасности сайта.
  • Возможность включать выполнение кода JavaScript в виртуальные профили пользователей.
  • Хорошо иллюстрированные и подробные отчеты доступны даже во время исполнения тест кейсов.
  • Встроенное средство просмра журналов позволяет вам поэтапно просматривать каждую выполненную сессию.

Недостатки WAPT:

  • Для установки WAPT необходима операционная система Windows.
  • Отсутствует возможность создание сценариев.

 

Testing Anywhere by Automation Anywhere

automation_anywhere

Testing Anywhere соредоточена на нагрузочном тестировании веб сайтов, элементов управления и контроля, GUI.

Существует 5 методов создания тест кейса в Testing Anywhere:

  • Веб-запись
  • Запись объектов
  • Распознавание образов
  • Интеллектуальная запись
  • Редактирование

Ключевые особенности Testing Anywhere:

  • Не требуется знание программирования для работы с Testing Anywhere.
  • Тест кейсы легко создаются и редактируются.
  • Возможность проведения миграционного тестирования
  • Автоматизация визуальных тестов
  • Автоматическая идентификация языка программирования. Testing Anywhere работает с Java, Net, WPF, Silverlight, HTML, Flash, и Flex.
  • Testing Anywhere предлагает единую платформу для тестирования.

Недостатки Testing Anywhere:

  • Поддерживает только Windows
  • Могут возникнуть проблемы с тестированием iOS приложений.
  • Тестируемая платформа не предоставляется для приложений, написанных на старых языках.

 

StormRunner Load by Hewlett Packard Enterprise

stormrunner

StormRunner Load – это самый новый из инструментов для тестирования нагрузки среди продуктов, предлагаемых Hewlett Packard Enterprise. Его можно использовать как для для мобильного, так и для веб тестирования. StormRunner – сервис, основанный на облачных SaaS технологиях, что делает его простым и доступным в использовании.

Преимущества StormRunner:

  • Легок и прост в использовании.
  • Поддержка HTTP/HTML (как веб, так и мобильного), SAP Web, Java, Flex, TruClient Web, TruClient Native Mobile и TruClient Mobile Web протоколов.
  • Минималистичный и отзывчивый интерфейс.
  • Высокая масштабируемость. Существует возможность запускать тест кейсы с более чем миллион, географически распределенных, веб-и мобильных пользователей.
  • Возможность добавления/удаления виртуальных пользователей во время исполнения тест кейсов
  • Автоматическое развёртывание инфраструктуры тестирования.
  • Легко интегрируется с Jenkins, Dynatrace, Gatling, Docker, AWS Code Pipeline и New Relic.
  • Возможность моделирование выведения серверов из строя.
  • Предлагает генераторы нагрузки, расположенные в нескольких разных географических точках.
  • Быстрое обнаружение проблемы.
  • Настраиваемый аналитический отчет с помощью Network Virtualization.

Недостатки StormRunner:

  • Нет возможности использовать сетевую аналитику в сценариях JMeter.
  • Отсутствует возможность объёмной нагрузки FTP сервера.
  • Невозможно запланировать запуск тестов на более позднюю дату.
  • Активы, отличные от скриптов, не могут быть присоединены.

Итак, вы получили некоторую информацию о лучших, на наш взгляд, инструментах нагрузочного тестирования. Как вы могли заметить, каждый из них имеет свои преимущества и недостатки. Некоторые из них предпочтительнее для использования небольшими командами, другие скорее подойдут крупным разработчикам. В любом случае, множество факторов влияет на выбор того или иного инструмента в каждой конкретной ситуации.

Согласны ли Вы с нашим списком лучших инструментов?  Возможно, Вам известны инструменты, которые в большей степени заслуживают быть названными в числе лучших. Поделитесь Вашим мнением в комментариях к этой статье.

TOP 20 tools for load testing in 2018

Yana Gusti 08/05/2017

The best tools for load testing will be considered in this article. You can find here information about free as well as commercial tools to make your load testing more effective.

Free load testing tools

Let’s start from the fully free distributed tools.

Apache JMeter™

Apache JMeter

Apache JMeter is the most often used open source tool for load testing. JMeter originally was designed for testing web application or FTP application. At present, it also can be used for the functional test, database server test etc. JMeter doesn’t require state of art infrastructure for load testing and provides support for multiple load injectors managed by a single controller.

Let’s consider how it usually works. The completed JMeter workflow is illustrated in the picture below.

The completed workflow of JMeter as show in figure below

The main features and advantages of JMeter.

Price.  JMeter is the open source tool, that allows everybody to use the source code for the development.

Platform independence. As JMeter is 100%  Java desktop app, so it can be run on multiple platforms.

Installation.  No special installation is needed. Everything you should do to run JMeter is to copy and run the *.bat file.

Friendly GUI (Graphic User Interface). Actually, it could be used in 3 modes: GUI Mode, Server Mode, and Command Line Mode. It takes a little time to get familiar with JMeter GUI.

 Test case result visualization. The test result can be displayed in different ways: table, chart, log file and tree.

Multi-threading framework. JMeter helps to provide the parallel and simultaneous sampling of different functions by a separate thread group.

High extensibility level. You have an ability to write your own test cases. Besides that, special visualization plugins are supported for extending your testing.

Simulation. JMeter allows to simulate multiple users with parallel threads and create a heavy load against web application under test.

Multi-protocol support. It supports all basic protocols such as HTTP, SOAP, LDAP, JDBC,  JMS, and FTP.

Script test. Jmeter can be integrated with Selenium and Bean Shell for automated testing.

“Record” and “Playback Record” options. The user activity on the browser could be recorded and simulated in the web application using JMeter.

Integrated real-time support. Apache Tomcat collectors allow providing real-time monitoring.

Easy continuous integration with open source libraries. JMeter is integrated with open source libraries for Jenkins, Maven, and Gradle.

JMeter also has some weak points:

  • There is no ability to record HTTPS communication.
  • It is not capable of application server related statistics monitoring.
  • There is no option of the AJAX traffic interception.
  • The very limited features of the Reporting framework.

 

The Grinder

the grinder-logo

The Grinder is another popular Java-based framework for load testing. Jython, the special Java implementation of the Python, is the default script language. Testsripst also could be written in Clojure.

The main parts of The Grinder:

  • The Grinder Console is the basic interactive development environment (IDE) for test suites developing and editing. It monitors results in real time and controls various agents of The Grinder.
  • The Grinder Agents are the special headless load generators. They can have a number of Workers to create the load.

You can see the system under the load test in The Grinder at the picture below.

the grinder load tseting

The Grinder’s key features:

  • The Grinder is the cross-platform tool. It could be run anywhere you can set up a Java Virtual Machine.
  • Multiple protocols support.
  • Rapid and powerful script development
  • Simple, sliding performance graphs for all transactions in one tab.
  • The users has an ability to write the own plug-ins to a documented interface
  • Flexible parameterization.
  • The user has an ability to load Java API as a test from HTTP web servers, SOAP and REST services.
  • A lot of flexibility for loading and executing third party libraries is offered by The Grinder.

Integration with JIRA.

The Grinder’s disadvantages:

  • Memory failures could be in the large file download scenarios.
  • The Grinder console can not to dynamically adjust the levels of the load being generated by the agents.
  • There are no special additional analysis tools.
  • The special knowledge of Jython or Clojure is needed.

 

Gatling

Gatling-logo

Gatling is the powerful Scala-based “weapon” for load testing. It has two executables: one for test case recording and the other for test case execution.

Actually, Gatling structure is defined in four parts:

  • HTTP protocol configuration helps to define the base URL you will be running your tests against. Besides that, user agent, language header, and connection also could be defined.
  • Headers definition provides the headers for the request which is sent to the server.
  • Scenario definition specifies a group of actions to be executed in order to simulate a user interaction with your application.
  • Simulation definition is aimed to specify the number of users that will concurrently execute load scenario for a particular period of time.

The main features of the Gatling:

  • It works with whichever operating system and any browser.
  • Gatling supports colorful and informative graphical reports containing valuable information for analysis.
  • It can execute its test cases in different test clouds.
  • Gatling could be easily integrated with Jenkins through the Jenkins-plugin and runs your tests through Gradle and Maven with the help of Maven plugin and Gradle plugin.
  • Gatling uses a small amount of memory.
  • It reduces the debugging phase time.
  • Errors and drawbacks are detected in the early part of the development cycle.

The Gatling’s disadvantages:

  • API has been radically changed. So, there is a problem with running test cases written in the old version.
  • Gatling doesn’t allow you to distribute the load between machines.
  • It cannot be scaled horizontally.

 

Locust

Locust is a code-driven, distributed load testing suite built in Python. It is often used for load testing websites (or other systems) and indicating how many concurrent users a system can handle.

Locust based on the original idea. According to it, the swarm of locusts will attack your website during the test. You can define the behavior of each locust (user). The swarming process is monitored from a web UI in real-time and helps you to identify the weak points of your code.

Locust’s key features:

  • Any system can be tested with Locust.
  • It is the cross-platform and easily extendable tool.
  • Hundreds of thousands of users’ behavior can be simulated with Locust.
  • Locust has the very reusable code.
  • It has the high level of customization. There is an ability to combine several requests as one scenario by grouping requests with specific custom points.

The limitations of the Locust:

  • The loss of statistics. Locust gathers and displays stats until requested number of users has been reached. After that, all the statistics are reset and it starts gathering new ones.
  • Testing in Locust never stops. There is no ability to tell it how many hits each user should simulate.
  • It does not get all available resources. For example, Locust will not request an URL unless you explicitly tell it to do this.

 

ApacheBench (ab) – Apache HTTP server benchmarking tool

ApacheBench

ApacheBench is probably the simplest tool for load testing. It is the command line program, which was originally designed for the Apache HTTP Server testing. Indeed, ApacheBench could be effective in testing any web server.

If you are the user of macOS or Linux, you already have it on your computer. If your OS is Windows, just install Apache and you will see ab.exe in your apache/bin folder.

The main merits of the ApacheBench:

  • It is simple to use and easy to learn the tool.
  • No additional installation is needed.
  • ApacheBench is the cost-effective and time-saving tool.
  • There is an ability to set the total number of requests, the number of parallel executed queries, and the time limit for all queries.

Demerits of the ApacheBench:

  • Poor functionality.
  • There is no ability to evaluate the performance of the project from all sides.
  • HTPS protocol is not supported.

 

Taurus

taurus

Taurus is the open source multi-tool testing platform developed by the BlazeMeter. Taurus stands for Test Automation Running Smoothly. The main idea of its creation was to enforce existing free load testing tools like JMeter, Selenium, Grinder, and Gatling.

The main advantages of the Taurus:

  • Taurus has the simple setup and upgrading.
  • YAML or JSON makes easier the versioning of scripts.
  • Taurus is easy combined with JMeter, Selenium, Grinder, and Gatling, Significantly expanding their capabilities.
  • Real-time reports are available during test case execution.
  • Pre-existing scripts could be used in the Taurus.
  • It is closed integrated with the BlazeMeter.
  • Flexible pass/fail criteria are defined in an easy way.
  • Taurus is run everywhere Python and Java can be run.
  • It is integrated into CI tools like Jenkins.

Some disadvantages of the Taurus:

  • Taurus is the resource-intensive tool.
  • Changing hardware configuration is out of its scope.
  • Long-time endurance test cases are not supported.

 

Siege by Joe Dog

siege_joe_dog

Siege is the special utility for the load testing of the HTPP and HTPS protocol. It also can be used as the web server benchmarking tool. Siege is the GNU/Linux-based tool, but now it has been successfully ported to AIX, Solaris, HP-UX, and BSD.

Siege’s key features:

  • HTTP, HTTPS, FTP protocols, cookies, and simple authentication are supported.
  • It is easy compiles on Unix-based OS.
  • Siege is the multithreaded tool.
  • There is an ability of users load emulation.
  • It could be run with multiple IP addresses from the same machine.
  • The simple scenario test cases execution is supported.

Some weak points of the Siege:

  • It couldn’t be run on Windows. Though, you can use Cygwin to do it.
  • Siege is the resource-intensive tool.
  • It is not suitable for serious and large-scale testing in hundreds and thousands of threads.

Commercial load testing tools with free editions

The next group of load testing tool we are going to consider is commercial tools which have free editions. Of course, almost the most commercial tools for load testing have the free trial period. But in this chapter, we will talk about load testing tools, which have some kind of free used editions.

As a rule, there are different kinds of limitations of these load testing tools usage. For example, the number of users, number of executed test cases per month, test duration time etc.

WebLOAD Reviews

webload

WebLOAD is the load testing and analysis tool is distributed by RadView Software. It is real powerful and effective tool for the web apps testing as well as for the mobile testing. Test cases are generated in JavaScript and can be enhanced and edited using various tools in the IDE.

WebLOAD is distributed both in the free and commercial way. It should be mentioned that WebLOAD Free Edition includes almost the all features from the commercial version. The limitations concerned to the number of virtual users (maximum 50 persons) and some exception for Oracle Forms, Flex/AMF, streaming/multimedia features.

So, the small teams have an ability to use its features. Here are some of them:

  • Major web technology support.
  • The user has an ability to generate load on-premise or in the cloud.
  • UI wizards help you to enhance the script.
  • Over 80 configurable report templates are provided by WebLOAD analytics dashboards.
  • The user has an ability to share test case execution results across distributed teams.
  • WebLOAD can be easily integrated with many popular tools: Selenium, Jenkins, Perfecto Mobile, New Relic, and Dynatrace etc.
  • Potential bottlenecks are automatically detected.
  • A wide range of mobile testing tools
  • Combination on-premise and cloud virtual user load.
  • The high-level customer support.
  • Powerful correlation engine.

Some weak points of the WebLOAD:

  • There is no Citrix support.
  • WebLOAD focuses mostly on developers than QA specialist. So, special technical skills are required to its configuration.
  • Upgrade not able to use previous scripts.
  • SAP GUI in not supported.

 

HP Performance Tester (LoadRunner)

LoadRunner

Loadrunner by Hewlett-Packard Enterprise is one of the most widely used load testing tools.

The components of LoadRunner:

  • The Virtual User Generator (VuGen) is aimed to record a script and it enables to develop Vuser (virtual user) scripts for a various application types and communication protocols.
  • The Controller is the main component for controlling the load simulation.
  • Agents Machines (Load Generators or Load Injectors) are the machines virtual users spread across.
  • LoadRunner Analysis and Monitoring is the detailed performance of your test cases.
  • LoadRunner Books Online are the complete study materials for HP LoadRunner.

The main parts of load testing process in the LoadRuner:

  • Plan load test
  • Create Vuser Scripts
  • Define Scenario
  • Run Scenario
  • Analyze results

LoadRunners advantages:

  • Interactive user transaction simulation.
  • A wide range of applications support.
  • Powerful mobile testing tools.
  • It reduces the systems requirements and human intervention.
  • LoadRunner offers record and playback or scripting.
  • Effective utilization tracking tool.
  • Single point execution.
  • Optimal usage of load generator farm.
  • LoadRunner quickly and accurately detects the root cause of application performance problems.

Some disadvantages of the LoadRunner:

  • Multiple specific scenarios cannot be launched from the command line.
  • It requires continuous support for technical assistance during execution.
  • A lot of disk space is required for LoadRunner installation.
  • The Controller and VUGen work only in Windows.

 

Rational Performance Tester by IBM

rational_perfomance_tester_ibm

Rational Performance Tester (RPT) is a performance and load testing tool developed by IBM Corporation. It can be used for a web application or a server based application where there is a process of input and output is involved. RPT creates a demo of the original transaction process between the user and the web service.

Key merits of the Rational Performance Tester:

  • A broad base of applications such as HTTP, SAP, Siebel, SIP, TCP Socket and Citrix are supported.
  • No special programming knowledge is required.
  • It provides the diagnostics of Websphere and Weblogic application servers.
  • It is run with large multi users test cases.
  • Real-time reporting for immediate performance problem identification.
  • The flexible graphical test schedule where the load can be specified by proportional groups of users.
  • Environment and Platform support.
  • The wide ranges of the root cause analysis tools.

Some demerits of the Rational Performance Tester:

  • Ramp up or Ramp down of resources is not possible in the Rational Performance Tester.
  • It doesn’t support Java Applet based applications.
  • There is no ability for scheduling.

 

BlazeMeter

blazemeter

BlazeMeter is one of the most widely used platforms for the load testing. It is offered both in free and commercial editions. You can run maximum 10 tests with no more than 50 users for free. The only one load generator is available in the free version of the Blazemeter.

Key features of the Blazemeter:

  • Blazemeter is 100% compatible with Apache JMeter.
  • It is easily integrated with other popular open source tools: Selenium, Locust, and Gatling.
  • There is an ability to run test cases with the up to 1 million users.
  • There is the direct access to the Blazemeter from the web.
  • The traffic from mobile devices with varied signal strengths and various networks can be simulated by Blazemeter.
  • Scalable low testing from anywhere.
  • You can download the testing results for off-line using.
  • It supports Sandbox tests for validation the scripts for the limited number of users for the limited amount of time.
  • Blazemeter has high-customized and well-illustrated reports which are easy to be share.
  • An ability to modify load via Concurrency Thread Group or using “Limit RPS”  method.
  • JMeter plugin for the Flex support.
  • HLS plugin for HLS for Video Streaming and Video on demand.

Some of Blazemeter’s limitations:

  • Endurance test cases are limited by time in the free edition.

 

NeoLoad by Neotys

neoload

NeoLoad is the popular tool for analysis the performance of the website or application under the heavy load. It works with the high efficiency both with desktop and mobile applications. NeoLoad is written in Java. Test case execution for not more than 50 virtual users is free.

The key features and benefits of NeoLoad are:

  • It supports the latest web and mobile technologies.
  • NeoLoad cross-platform capabilities allow the loads to be generated on a wide variety of platforms (Unix, Windows, Linux…).
  • NeoLoad gets a summary of the test case execution and then examining its details using the graphs and statistical tables. Statistics is got from your servers (CPU, Memory, etc).
  • Real world testing scenarios help you to catch performance problems early.
  • Cloud integration, live monitoring, and real device integration is supported not only on Android or iOS but also on Windows Phone and Blackberry.
  • An ergonomic graphical interface that reduces the test execution time.
  • There is an ability to define Virtual User behavior and set scenario parameters such as load policy (constant, ramp-up, peak or custom) or the number of Virtual Users to be simulated in the test.
  • It supports Selenium script conversion
  • Performance monitors (CPU, memory, disk usage, and so on) are set for your servers.
  • Page content is checked under the load.
  • There is an ability to record any mobile application directly from any mobile device with the proxy mode or DNS tunnel mode.
  • It records HTTP traffic between browser and server.

Some drawbacks of NeoLoad:

  • It does not function in Mac OSX.
  • There is no access page DOM
  • There is no facility to create start and end transactions to capture the response time.

 

LoadUI by SmartBear

loadUI

LoadUI is the famous tool used mostly for the web services load testing. It is distributed both in free and licensed version. If you want to use it with higher efficiency, you should use it with another free SmartBear product SoapUI.

The main advantages of LoadUI:

  • Multiple performance strategies.
  • Drag and drop interface.
  • API support.
  • Parallel and isolated load testing execution.
  • Real-time feedback about your test cases results.
  • The ability to add new data even as the application is being tested.
  • Automatically updated interface.
  • It works with the major operating system.
  • LoadUI visual reports are presented in a very easy to understand graphical format.
  • There is an ability to create, configure and modify test cases during the execution.

Some weak points of the LoadUI:

  • Scripts created in Pro versions can’t be used in free versions.
  • Old projects could be imported with some limitations.
  • It is weak and limited for web load testing.

 

CloudTest by Soasta

CloudTest by Soasta

CloudTest is the comprehensive tool for providing load and performance tests of web and mobile and apps. It can be hosted on one or more physical servers as well as in the cloud.

Amazon Web Services and Rackspace cloud services providers are used by CloudTest for traffic simulation.

CloudTest Lite is its free trial version. Of course, there are a lot of limitations in this edition:

  • No 24/7 support.
  • There is no global, cloud-based load generation
  • The maximal number of concurrent virtual users is 100 persons.
  • Only one load generator could be used etc.

Anyway, this is powerful even in the free edition version.

The main advantages of the CloudTest:

  • It provides end-to-end mobile performance testing.
  • Real-time analytics.
  • Test cases are quickly built, edited, executed and analyzed.
  • It is easy integrated with JMeter and other often used automated testing tools.
  • The high accuracy of the simulating web and mobile user traffic.
  • It offers 360° performance reports of the real user monitoring.
  • There is an ability to add or drop users during the test case execution.

Some disadvantages of the CloudTest:

  • The free edition is too limited.
  • SLA configuration is not available in CloudTest.
  • There are no hardware control capabilities.
  • There is no ability to use CloudTest for automation Flex, Multimedia or Silver light based apps.

 

LoadStorm

loadstorm-logo

LoadStorm is the easy-to-use and cost-effective tool which can be used for load testing of the web and mobile applications. It has open source and commercial editions. You can run test cases with no more than 50 virtual users for free.

LoadStorm’s key features:

  • No special installation is needed.
  • It takes a few minutes to record a script.
  • Worldwide distributed cloud platform for test case running
  • Well-customized reports.
  • Analytics in the real-time mode.
  • Performance intelligence during running test cases.
  • Constant on-line support
  • It provides traffic geographic distribution.

Some drawbacks of the LoadStorm:

  • LoadStorm can test only web applications that can be reached from the Amazon cloud.
  • OS Windows is required for its using.

 

Smart Meter

smartmeter load testing tools

Smart Meter has the very powerful free version, though it is a commercial load and performance testing tool. Unlike to other commercial tools from our list, you have an ability to run test cases with 50 virtual users for free. Also, you have 2 load generators for your testing.

The main advantages of the SmartMeter:

  • Test reports, which are generated automatically, contain the full information about the test and its results.
  • Multifunctional test scenario recorder.
  • There is an ability to provide load testing from different locations.
  • It is easy integrated with Jenkins, Bamboo, and Maven etc.
  • Multiple monitors display test cases execution results in real time mode.
  • There is an ability to combine load test cases with Selenium.
  • Permanent test environment monitoring.

Some limitations of the SmartMeter:

  • It is not easy to learn tool.
  • The maximal test case execution time in the free version is only 15 min.

 

Fully commercial testing tools

Finally, commercial tools with only paid version will be considered. Naturally, all of them have some short free trial period. But it is cannot be defined as open source editions.

Silk Performer from Micro Focus

silk_performer

Silk Performer (formerly known as Borland) is the powerful tool for the load testing of web, mobile and enterprise apps. It helps to identify the weak points of the application under the peak customer load using integrated diagnostics and trending reports.

Key features of the Silk Performer:

  • It supports all major web environments: HTML5, AJAX, Responsive Web Design, Adobe Flash/Flex, and Microsoft Silverlight.
  • A wide range of the mobile web & native application testing tools.
  • Minimum hardware resources are required for virtual user simulation.
  • It generates well-customized reports with tables and graphs.
  • Silk Performer has user-friendly correlation and parameterization.
  • It supports integrated server monitoring.
  • Visual root cause analysis helps to detect the bottlenecks.
  • It has the simple script correlations.
  • Unlimited cloud scalability.
  • There is an ability to test your applications across a variety of the mobile platforms and connection standards: iOS, Android, BlackBerry, GPRS, HSPA+, EDGE, and LTE.

Some weak points of the Silk Performer:

  • There is a poor integration with deep diagnostics tools for end to end performance monitoring.
  • It is designed only for Windows.
  • Much memory is required for load testing with the Silk Performer.
  • There could be a problem with the setting of the ramp down pattern.

 

WAPT

wapt load testing tools

WAPT is the popular tool, which is equally effective for load testing web services, mobile applications, and all types of websites from e-shops to corporate ERP and CRM systems.

Making just a few clicks, you can create and execute test cases with thousands of virtual users. WAPT allows you to control over how to customize these virtual users.

The main merits of WAPT:

  • It is easy to install.
  • Fast test recording and design.
  • WAPT supports RIA technologies and mobile apps.
  • Advanced error reporting based on different indicators: network level errors, HTTP response codes, timeouts, server delays, and response validation by page content.
  • Web sites security testing.
  • There is an ability to include the JavaScript code execution into the virtual user profiles.
  • Well-illustrated and detailed reports are available even at the runtime.
  • Integrated log viewer allows you to browse step by step the each executed session.

Demerits of WAPT:

  • OS Windows is required to install this tool.
  • WAPT has no scripting ability.

 

Testing Anywhere by Automation Anywhere

Testing Anywhere focuses on the websites, controls, objects, and GUI front-ends load testing.

There are five methods of test case creation in the Testing Anywhere:

  • Web recording
  • Object recording
  • Image recognition
  • Smart recording
  • Editor

Key features of the Testing Anywhere:

  • No programming knowledge is required.
  • Test cases are easily built and edited.
  • There is an ability to perform migration testing.
  • Visual test cases automation
  • Automatic language objects identification. It works with Java, Net, WPF, Silverlight, HTML, Flash, and Flex.
  • Testing Anywhere offers the single platform for testing.

Some limitations of the Testing Anywhere:

  • It supports the only Windows operating system.
  • There could be some problems with testing iOS apps.
  • The testing platform is not provided for applications written in the older languages.

 

StormRunner Load by Hewlett Packard Enterprise

stormrunner

StormRunner Load is the latest load testing tool among product offered by Hewlett Packard Enterprise. It can be used both for the web and mobile testing. StormRunner is the cloud/SaaS based service, which makes it simple to access and leverage.

StormRunner’s advantages:

  • It is easy and simple to use.
  • HTTP/HTML (both web and mobile), SAP Web, Java, Flex, TruClient Web, TruClient Native Mobile and TruClient Mobile Web protocols are supported by the StormRunner.
  • Minimalistic and responsive interface.
  • High scalability. There is an ability to run test cases with more than one million geographically distributed web and mobile users.
  • Virtual users can be removed or added during the test case execution.
  • Load testing infrastructure is automatically deployed.
  • It has the tight integration with Jenkins, Dynatrace, Gatling, Docker, AWS Code Pipeline, and New Relic.
  • There is an ability of performance center servers decommission.
  • It offers load generators at several different geographical locations.
  • Fast detection of the problem.
  • Well-customized analytical report via Network Virtualization.

Some limitations of the StormRunner:

  • There is no ability to use network analytics with JMeter scripts.
  • There is no FTP for bulk uploads.
  • There is no option to schedule tests to start at a later date.
  • Assets other than scripts couldn’t be attached.

So, now you are informed about the best tools for the load testing. As you have read, all of them have their own merits and limitations of the usage. Some of them are preferable for small teams, other for big developers companies. Anyway,  it depends on varieties of factors which one should be chosen in the particular situation.

Do you agree with our list?  Maybe you know the tool deserves a place in our rating. Share your opinions and experience in the comments below.