Лучшие инструменты для тестирования мобильных приложений

Лучшие инструменты для тестирования мобильных приложений

THINKMOBILES Logo

В данной статье Вы найдёте информацию о специальных инструментах, которые погут Вам сделать  тестирование мобильных приложений быстрее и эффективнее .

В сегодняшнее время наблюдается устойчивая тенденция роста количества и вариаций мобильных приложений, которые разрабатываются для различных платформ. Разнообразие операционных систем далеко не единственная проблема, с которой приходится сталкиваться тестировщику. Следует выделить и такие:

  • Разнообразие типов мобильных приложений
  • Широкая линейка мобильных девайсов
  • Фрагментация устройств
  • Разнообразие интерфейсов для тестирования

Итак, давайте начнём наше знакомство, как с самыми популярными инструментами, так и с тем, которые используются для специального тестирования.

Популярные универсальные инструменты

Appium

appium logo

Appium является, наверное, одним из самых известных инструментов тестирования мобильных приложений. Специальные философские принципы Appium наилучшим образом описывают это приложение:

  • Для автоматизированного тестирования приложения, пользователю не нужно производить его рекомпиляцию, или каким-то образом его модифицировать.
  • Пользователь не должен быть ограниченным рамками какого-либо зыка или фреймворка, при написании и запуске тест кейсов.
  • Не нужно изобретать колесо, когда дело касается автоматизации тестирования API.
  • Фреймворк для мобильного автоматизированного тестирования должен быть с открытым кодом, не только по названию, а и по духу.

Использование этих четырёх принципов даёт основные преимущества Appium:

  • Appium – бесплатная, свободно распространяемая платформа с открытым кодом.
  • Appium содержит фреймворк или оболочку, которые переводят команды Selenium Webdriver в команды UIAutomation (iOS) или UIAutomator (Android) в зависимости от типа устройства, а не типа ОС. Т.е. отсутствует зависимость от типа ОС мобильного устройства.
  • Appium поддерживает основные языки программирования — Java, Python, JavaScript, PHP, C#, и Ruby.
  • Appium поддерживает автоматизированное тестирование нативных, мобильных и гибридных приложений как на реальных девайсах, так и на эмуляторах или симуляторах.
  • Appium поддерживает все основные платформы: iOS, Android, Windows, FirefoxOS.

Конечно же, Appium не идеален. Имеются также некоторые недостатки:

  • Appium прямо поддерживает версии Android, начиная с 17 и выше. Более ранние версии не поддерживаются.
  • Отсутствует прямая поддержка обработки предупреждений Android.
  • Более 50 открытых багов, связанных с iOS.

Selendroid

selendroid logo

Selendroid один из самых мощных инструментов для тестирования различных типов мобильных приложений Android: нативных, мобильных и гибридных. Его основные сильные стороны:

  • Так как тесты Selendroid написаны на клиентском API-интерфейсе Selenium Webdriver, то он поддерживает полную интеграцию с текущими фреймворками Selenium.
  • Он может использоваться как на реальных устройствах, так и на эмуляторах/симуляторах, что делает его отличным инструментом для тестирования совместимости.
  • Автоматический запуск существующих эмуляторов.
  • Специальный инструмент разработки тестов Inspector для проверки пользовательского интерфейса (UI) вашего приложения.
  • Нет необходимости в модификации тестируемого приложения для его автоматизации.
  • Selendroid поддерживает и старые версии Android, начиная с 10-ой.
  • У пользователя есть возможность изменять аппаратные устройства (plug and unplug) во время тестирования без перезапуска или остановки теста.
  • Полная интеграция в Selenium Grid, в качестве узла, для масштабирования и параллельного тестирования
  • Полная совместимость с JSON Wire Protocol/Selenium 3 Ready.
  • Запись кликов

Недостатки Selendroid:

  • Прямая поддержка только Android-приложений. Хотя, следует упомянуть, что можно использовать ios-driver для тестирования нативных, мобильных и гибридных приложений.
  • У пользователя нет возможности автоматизировать действия вне приложения — камера, карты и т. п.
  • Selendroid достаточно медленный. Его сложно использовать на устройствах с оперативной памятью меньше 4GB.

Calabash

calabash logo

Calabash – фреймворк, разработанный Xamarin, для автоматического приёмочного тестирования, Он позволяет автоматизировать , написанные на Cucumber , приемочные тесты пользовательского интерфейса, для работы на iOS и Android-приложениях.

Основные преимущества Calabash:

  • Пользователь может проводить исполнение тест кейсов Calabash на более чем 1 000 реальных мобильных устройствах в Xamarin Test Cloud, специальной облачной лаборатории для тестирования.
  • Ясная и простая документация , касающаяся работы приложения
  • Поддержка Cucumber для проведения разработки тестирования, основанной на функционировании (Behavior-Driven Development).
  • Параллельное исполнение тест кейсов.
  • Широко поддерживаются такие мобильные функции как жесты, прокрутка и т.п.
  • Прокрутка может быть автоматизирована.

Недостатки Calabash:

  • Тест кейсы написаны только на Ruby.
  • Необходима специальная целевая подготовка для тестирования iOS приложения.
  • Отсутствуют функции записи и проигрывания.
  • Отсутствуют инструменты генерации кода.

Robotium

robotium logo

Robotium  — один из ведущих фреймворков для автоматизированного тестирования Android-приложений. Давайте рассмотрим его основные преимущества:

  • С помощью Robotium, пользователь может писать сценарии для проведения функционального, системного и приёмочного тестирования, одновременно охватив несколько действий Android.
  • Он может использоваться как для тестирования приложений, с доступным исходным кодом, так и для приложений, в которых доступен только файл APK, и детали исполнения.
  • Robotium поддерживает такие функции Android: действия, всплывающие сообщения, меню и контекстные меню.
  • Robotium – несложный для написания тест кейсов.
  • Быстрое исполнение тест-кейсов.
  • Интеграция с Maven или Ant.
  • Автоматическая синхронизация и задержки.

Недостатки Robotium:

  • Возможность проведения только одного тестирования одномоментно.
  • Robotium не работает с Flash или Web компонентами.

Ranorex

ranorex logo

Ranorex – лёгкий и удобный в использовании, инструмент автоматического тестирования  для разработки и управление проектами в командах, состоящих из тестировщиков и разработчиков. Основные преимущества использования Ranorex:

  • Лёгкая установка даже для тех, кто не является программистом.
  • «Click & Go» Xpath редактор.
  • Редактор карт объектов пользовательского интерфейса.
  • Поддержка Dynamic IDs.
  • Простое обслуживание.
  • Простое исполнение файлов с расширением (.exe).
  • Профессиональная сервисная поддержка.

Ranorex имеет некоторые ограничения в использовании:

  • Не поддерживает Mac, а также тестирование гибридных и веб-приложений Android.
  • Отсутствует опция экспорта скриптов в различные языки программирования — Java, VBscript и т.п.
  • Отсутствует поддержка жестов, а также “drag and drop” действий.
  • В случае сбоя или зависания, автоматический запуск закрытого приложения не поддерживается.
  • Длительное время ожидания для идентификации объекта

eggPlant

eggPlant logo

eggPlant включает в себя множество инструментов для удовлетворения всех потребностей тестирования – от функционального до нагрузочного, от мобильного до десктопного, от тестирования цифровых версий до тестирования устаревших версий. Инструменты eggPlant могут функционировать как самостоятельно, так и используя инструменты тестирования других производителей, действуя вместе в единой среде.

Ключевые характеристики eggPlant:

  • Простая интеграция с программным обеспечением для управления качеством.
  • Отладка тест кейсов.
  • Управляемый режим записи.
  • eggPlant Test Cases могут запускаться без присмотра и непосредственно из командной строки
  • Поддержка всех основных платформ: Android, iOS, BlackBerry, Windows Phone  и Symbian.
  • Взаимодействует с системой точно так же, как и пользователь.
  • Не требуются никакие плагины.
  • Нет необходимости ждать обновления инструмента для поддержки, недавно выпущенной ОС, или языка разработки.

Ниже предоставлены некоторые недостатки eggPlant:

  • Отсутствие идентификатора нативного объекта.
  • Изображения, зафиксированные в одной операционной системе, не могут работать в других ОС.
  • eggPlant не слишком популярен на рынке. Поэтому очень сложно найти специалистов, имеющих навыки программирования автоматизированных тест кейсов Eggplant по сравнению с другими конкурентными инструментами, такими как Selenium Webdriver.

KeepItFunctional(KIF)

KIF logo

KeepItFunctional(KIF) – фреймворк для интеграционного тестирования   iOS приложений, позволяющий внедрять тест кейсы на objective C, которые исполняются только на  iPhone/ iPad симуляторах.

KIF имеет следующие преимущества:

  • Автоматизация тест кейсов, имитирующих работу пользователя.
  • Поддержка различных версий
  • Автоматическая интеграция с тестовыми инструментами Xcode.
  • KIF – легкий для обучения фреймворк
  • Тесты легко записывать на том же языке, что и код (ObjC / Swift), используя знакомые понятия.

Недостатки KIF:

  • Использует недокументированные API Apple. Если тестовые скрипты не являются частью производственного кода, приложение будет отклонено Apple из-за использования недокументированных API.
  • Тесты написаны на Objective-C, языке, который хорошо знаком разработчикам iOS, но не командам тестировщиков.

UI Automator

ui automator logo

UI Automator — фреймворк, предоставленный Android Testing Support Library. Это отличный инструмент для автоматизированного тестирования вне приложения,  так как предоставляет доступ к приложению отдельным элементам системы, например уведомлениям.

Основные преимущества UI Automator:

  • UI Automator View.
  • Взаимодействует с любыми приложениями.
  • Доступ к состоянию устройства.
  • Пользователи могут создавать тесты с использованием API, предоставляемого платформой, и запускать на нем тесты.
  • Его библиотека поставляется с Android SDK, и предоставляет доступ к сотням материалов.

UI Automator имеет некоторые ограничения:

  • Необходима версия Android 4.3 (API 18) или более современная.
  • Java – единственный, напрямую поддерживаемый язык программирования.
  • Недостаточная поддержка тестирования гибридных приложений.

SOASTA TouchTest

soasta logo

SOASTA TouchTest обеспечивает полную автоматизацию функционального тестирования мобильных приложений для сенсорных телефонов.

Основные преимущества SOASTA TouchTest:

  • Благодаря запатентованному интерфейсу TouchTest, существует возможность быстрого проектирования, исполнения, редактирования и анализа тест кейсов.
  • Возможность тестирования мультитач жестов в нативных, гибридных и веб-приложениях на iOS и Android.
  • Поддержка Gradle. Он автоматически загружает необходимые jar-файлы, не требует отдельного этапа загрузки или сборки после внесения изменений.
  • Непрерывное тестирование производительности мобильного приложения.
  • TouchTest лучше всего подходит для автоматизации критических тест кейсов, которые будут многократно использоваться, поскольку каждый девайс должен быть протестирован отдельно.

Несколько недостатков TouchTest:

  • Ошибки в точности масштабирования.
  • Ошибки в точности синхронизации.
  • Нет возможности управления оборудованием.
  • Отсутствует опция симуляции входящих звонков

SeeTestAutomation by Experitest

seatest aotomation logo

SeeTestAutomation — специальный инструмент, позволяющий проводить автоматизированное тестирование мобильных приложений не только на iOS или Android, а также на BlackBerry и Windows Phone, как на реальных устройствах, так и на эмуляторах .

Существуют следующие ключевые характеристики  SeeTestAutomation:

  • Одинаковые тест кейсы могут запускаться на различных устройствах (например, Android тест кейсы на iOS)
  • Широкий выбор плагинов для различных инструментов и языков : UFT (QTP), RFT, TestComplete, C#, MSTest/VisualStudio/TFS, Java, Perl, Python, Ruby.
  • Расширение тестового покрытия за счёт тестирования периферийного функционала — GPS, Touch ID, аудио и видео.
  • Непрерывная интеграция с другими средами — HP Quality Center (ALM), Jenkins и т.п.
  • Интеграция с WebDriver (Selenium), HP UFT/QTP, JUnit, Microsoft Visual Studio.

Недостатки SeeTestAutomation:

  • Отсутствует бесплатная версия SeeTestAutomation.
  • Количество единовременно подключаемых девайсов не превышает 5 штук.
  • SeeTest запускает устройства поочередно и требуется отдельный плагин для параллельного исполнения тест кейсов.

Инструменты тестирования производительности

Тестирование производительности проводится  для проверки поведения приложения при определенных особенных условиях, таких как плохое покрытие сети, низкий уровень доступной памяти, одновременный доступ к серверу приложения несколькими пользователями, низкий заряд батареи и т.п.

Давайте подробнее рассмотрим специальные инструменты, которые используются для тестирования производительности.

NeoLoad by Neotys

neoload logo

 

NeoLoad  — один из лучших, существующих на рынке инструментов нагрузочного тестирования, по критериям качества, поддержки и совместимости с  web 2.0.

Основные преимущества Neoload:

  • Его кросс-платформенные возможности позволяют создавать нагрузки на самых разнообразных платформах (Unix, Windows, Linux…).
  • Поддержка облачной интеграции, мониторинг в реальном времени и интеграция с реальными устройствами не только на iOS или Android, а также на BlackBerry и Windows Phone.
  • NeoLoad получает резюме исполнения тест кейса, а затем изучает его детали, используя графики и статистические таблицы. Статистику получает с ваших серверов (CPU, Memory, и т.п.).
  • Валидация контента. Контент страницы проверяется под нагрузкой.
  • NeoLoad предоставляет тестировщику возможность определить поведение виртуального пользователя, задавать параметры тестового сценария, такие как политика загрузки (постоянная, нарастающая, максимальная или пользовательская) или количество виртуальных пользователей для исполнения определённого тест кейса.
  • Мониторы производительности (процессор, память, использование диска и т. д.) настраиваются для ваших серверов.
  • Запись HTTP траффика между браузером и сервером.
  • Эргономичный графический интерфейс, сокращающий энергозатраты, необходимые для тестирования.

Ниже предоставлены некоторые недостатки NeoLoad:

  • Нет возможности для создания начальных и конечных транзакций для фиксации времени отклика
  • NeoLoad не функционирует в Mac OSX
  • Отсутствует доступ к странице DOM

Apteligent (бывший Crittercism)

apteligent logo

Apteligent (бывший Crittercism) — это система управления производительностью мобильного приложения, которая предлагает решения по обслуживанию приложения и исправления ошибок в его работе.

Преимущества Apteligent:

  • Мониторинг критических и некритических ошибок.
  • Мониторинг API облачного сервиса.
  • Поддержка тестирования гибридных приложений.
  • Краш-мониторинг в режиме реального времени.
  • Предоставляет детальную информацию о крашах.
  • Безупречная система баг-репортинга.

У Apteligent также имеются некоторые недостатки:

  • Управление приложением может сбивать с толку.
  • Пользовательский интерфейс бывает медлительным .

New Relic

new relic logo

New Relic уделяет основное внимание тестированию производительности, предлагая непрерывный мониторинг (аналитика, А/В тестирование и составление отчётов о крашах) для мобильных и веб-приложений.

Сильные стороны New Relic:

  • Простота в использовании и легкость понимания.
  • Данные включают сессии, в которых произошел сбой, число пользователей, которых это затронуло, исправленные и неисправленные краши.
  • Краши и торможения группируются на основе географических параметров, типам краша, типа девайса, операционной системы, сетевого оператора и т.п.
  • Распределение тестирования производительности по каждому сетевому оператору

Недостатки New Relic:

  • Немного сложно ориентиоваться в пользовательском интрефейсе New Relic.
  • Отсутствие плагина Android Studio.
  • Нет возможности добавления пользовательских атрибутов в краш-репорт.

Инструменты распространения и создания отчетов о сбоях в работе мобильных приложений для разработчиков

Мониторинг стабильности приложений обязателен для любого проекта. Вне всякого сомнения, жизненно важным является поддержание минимально возможного количества сбоев в работе приложения. Существует огромное количество инструментов для создания отчётов о крашах, которые могут быть взяты на вооружение в работе декатировщика.

Некоторые из них рассмотрены ниже.

Crashlytics

crashlytics logo

Crashlytics – один из самых популярных доступных инструментов.  Он был приобретен Twitter в 2013 году, и с тех пор предлагается под эгидой Twitter-SDK.

Ключевые характеристики и достоинства:

  • Лёгкая установка.
  • Создание отчётов о крашах в режиме реального времени.
  • Глубокий анализ крашей.
  • Отслеживание исключений.
  • Мониторинг жизненного цикла тест кейса.
  • Дистрибуция бета-приложений.
  • Некоторые популярные приложения, такие как Uber, Spotify и Fruit Ninja используют Crashlytics.

Недостатки Crashlytics:

  • Недостаточная сервисная поддержка. Коммуникация с персоналом и ответы на электронные письма непоследовательны
  • Crashlytics всего лишь инструмент для создания отчётов о крашах.
  • Управление дистрибуцией отсутствует.

Firebase Crash Reporting

firebase logo

Firebase Crash Reporting, одна из последних фич Google Firebase, предлагает полноценный набор инструментов и сервисов, которые помогают начать разработку новых приложений, а также способствуют развитию существующих.

Основные преимущества:

  • Данные включают характеристики и условия функционирования устройства, трассировку стека и т. д.
  • Firebase Crash Reporting позволяет тестировщику выделять из общего числа пользователей, тех, у кого произошли сбои в работе приложения, а также использовать платформу Firebase для отправки push-уведомлений и уведомлений об изменениях конфигурации.
  • Краши размещены в приоритетном порядке по частоте возникновения и степени влияния.
  • Firebase Crash Reporting собирает сбои, которые происходят, даже когда устройство находится в автономном режиме.
  • Нативные краши собираются автоматически.

Недостатки Firebase Crash Reporting:

  • Невозможно изменить статус краша “resolved”.
  • Отстутсвует опция поиска по крашам.
  • Новые краши появляютсяв системе медленно (не менее 15 мин.).
  • Google Play сервисы должны быть имплементированы, в противном случае Firebase не будет работать.

Instabug

instabug logo

Instabug ещё один хорошо известный отладочный инструмент для создания отчётов о крашах, который активно используется в автоматизированном тестировании мобильных приложений.

Его основные преимущества:

  • Даёт возможность группировать все связанные краши вместе, а также позволяет легко анализировать их появление.
  • Одна панель для работы с крашами и багами.
  • Автоматизированный скрипт загрузки символов.
  • Instabug один из самых производительных инстрментов для бета-тестирования.

Instabug имеет определённые недостатки:

  • Ограниченная гибкость при настройке отчетов.
  • Недостаточное продвижение в социальных сетях — FB, Twitter и т.п.

HockeyApp

hockeyapp logo

Hockeyapp один из самых популярных продуктов для бета-тестирования мобильных приложений. Этот продукт Microsoft позволяет распространять бета версии приложения на Windows Phones, Android, и  iOS, получать отчёты о крашах в режиме реального времени, получать отзывы от тестировщиков, анализировать тестовое покрытие и, конечно же, набирать тестировщиков для бета-тестирования.

Преимущества Hockeyapp:

  • Полностью ручное управление
  • Лёгкая интеграция с другими баг-трекинговыми системами и системами разработки мобильных приложений
  • Широкий спектр инструментов, с помощью которых, можно отыскать причину краша
  • Способ выражение крашей, который позволяет их легко анализировать
  • Быстрая загрузка новых версий при сохранении доступа к старым версиям

Он также имеет некоторые недостатки:

  • Дороговизна (первоначальный бесплатный тарифный план для 2 приложений, далее цена варьируется от $10 до $500 в месяц)
  • Настройка все ещё не оптимизирована для клиента
  • Не всегда понятное управление пользователями

Облачные технологии и сервисы для мобильного тестирования

Облачные технологии и сервисы  предоставляют возможность запускать устройства в нескольких системах или сетях через Интернет, где приложения могут быть протестированы, обновлены, и легко управляемы.  Легкая доступность, высокая масштабируемость и низкая стоимость — вот основные преимущества тестирования в облаке.

Растущая популярность облачного тестирования привела к появлению большого количества новых инструментов тестирования на рынке. Некоторые из них, будут рассмотрены ниже.

Xamarin Test Cloud

xamarin logo

 

Xamarin Test Cloud  предоставляет инструменты, которые поддерживают автоматизированное приемочное тестирование пользовательского интерфейса мобильных приложений на тысячах различных устройств.

Составные части Xamarin Test Cloud:

  • Calabash (Мы рассматривали его выше).
  • Xamarin.UITest — фреймворк, предоставляющий возможность написания тест кейсов на C#, используя популярную библиотеку NUnit.
  • Test Cloud — облачный сервис дающий доступ к тысячам мобильных устройств.
  • Xamarin Test Recorder инструмент, который все ещё дорабатывается, помогает упростить создание тест кейсов для тех, кто впервые сталкивается с Xamarin.UITest и не разбирается в API.

Основные преимущества Xamarin Test Cloud:

  • Широкий выбор инструментов для кросс-платформенного тестирования мобильных приложений на iOS, Android, Windows Mobile и Blackberry
  • Единый, для всех платформ, технологический стек кода
  • Тщательное нативное тестирование производительности
  • Полная поддержка технических устройств
  • Нативный UX
  • Большое количество девайсов для тестирования. Пользователь имеет возможность запускать тест кейсы на более чем 2 500 девайсов.

Но, существуют и определённые недостатки Xamarin:

  • Временные ограничения для различного вида тест кейсов
  • Дорогая лицензия на использование Xamarin . Бизнес-подписка достигает 999 долларов США за разработчика на платформу устройства, что достаточно дорого, если вы планируете создавать только одно небольшое приложение. Например, работа команды из пяти инженеров, каждый из которых будет создавать приложения для iOS и Android, будет стоить вам почти 10 000 долларов в год.
  • Ограниченный доступ к бесплатным библиотекам.
  • Поддержка последних обновлений платформы слегка опаздывает
  • Не поддерживается тестирование таких функций устройств как Bluetooth, регулирование WiFi, камера, физическая замена устройства, состояние заряда батареи.

Perfecto Mobile Continuous Quality Lab

perfecto logo

Perfecto Mobile Continuous Quality Lab — специальный набор инструментов для тестирования и оптимизации работы мобильных приложений.

Основные преимущества Perfecto Mobile Continuous Quality Lab:

  • Тестирование телефонов, смартфонов, планшетов в режиме реального времени. Для тестирования доступны более 500 девайсов на платформах Android, Blackberry, iOS, Symbian и WinPhone. AlmostПочти все девайсы реально подсоединены  к основным мобильным операторам США, Великобритании, Индии, Канады, Израиля и других стран.
  • Полный контроль над устройством (реальная и виртуальная клавиатура, сенсорные и слайд функции, акселерометр, вкл./выкл.).
  • Автоматизированное тестирование инсталляции приложения, входящих звонков и текстовых сообщений, загрузки файлов, ввода информации с буфера обмена или клавиатуры.
  • Тестирование возможности совершать звонки, отсылать смс, доступа к Internet (на девайсах используется тарифный план соответствующего мобильного оператора).
  • Одновременное тестирование на нескольких устройствах

Недостатки Perfecto Mobile Continuous Quality:

  • На большинстве устройств нет возможности проверки «горячих» функций (входящие звонки и смс).
  • Нечеткое (часто нечитаемое) изображение
  • Использование бесплатной пробной версии ограничено 60 минутами.

Keynote Mobile Testing (former Keynote DeviceAnywhere)

keynote logo

Keynote Mobile Testing предоставляет облачные решение для соединения между собой устройств проводной связи. Все операции осуществляются с помощью фреймворка Keynote, для чего необходима установка соответствующего программного обеспечения и его постоянное обслуживание.

Основные преимущества Keynote Mobile Testing:

  • Полноценная облачная библиотека для мобильных устройств
  • Параллельное исполнение нескольких тестов на нескольких устройствах
  • Запуск тест кейсов согласно расписанию или случайно
  • Импорт скриптов, созданных в Appium или Selenium
  • Просмотр результатов исполнения тест кейсов, включающих показатели успешности, ошибки, лог файлы и визуальные эффекты с изображениями и снимками высокого разрешения
  • Настройка отчетов в соответствии с потребностями вашей команды
  • Возможности совместной работы для обмена результатами тестирования с коллегами

Некоторые недостатки Keynote Mobile Testing:

  • Отсутствует поддержка резервирования устройств
  • Keynote Mobile Testing не тестирует жизненно важные функции устройства
  • Отсутствует опция переносимости скриптов

Сервисы и провайдеры услуг по мобильному тестированию приложений

Ubertesters

ubertesters logo

Ubertesters является не только системой создания краш-отчётов, но также и баг-трекинговой системой. В результате Вы получаете не просто отчёт о краше, но и полноценный отчет о баге, с отредактированными скриншотами и полной видеозаписью тестовых сессий.

Основные преимущества Ubertesters:

  • Поддержка различных платформ
  • Распространение приложений по технологии over-the-air (OTA)
  • Подробный отчёт по каждому тест кейсу
  • Полная поддержка всех методологий разработки
  • Мониторинг и управление тест кейсами в режиме реального времени
  • Интеграция с внешними багтрекинговыми системами — Jira, RedMine, YouTrack, Mantis, Unfuddle и HP Quality Center. Кроме того, Ubertesters имеет собственную удобную систему багтрекинга.
  • Управление девайсами
  • Управление билдами
  • Редактирование багов внутри приложения, их маркировка, отчеты и отзывы пользователей
  • Инструмент записи видео — все тестовые сессии полностью записываются, что поможет вам увидеть, какие шаги на самом деле сделал тестер, приведшие к ошибке или сбою.

Недостатки Ubertesters:

  • Не всегда точное фиксирование данных о времени (например, если включена автоблокировка телефона)
  • Отсутствует функция трансляции экрана

Applause

Applause – один из ведущих провайдеров по предоставлению услуг тестирования, исследования и обработки обратной связи с пользователями. Среди клиентов Applause такие всемирно известные компании как Google, eBay, Fox Broadcasting.

Ключевые функции Applause:

  • Более 200 000 пользователей тестирующих приложение в «полевых условиях».
  • Широкий выбор подходов тестирования
  • Возможность быстрого поиска отчёта о баге
  • Аналитические инструменты для управления бета-тестированием мобильных приложений
  • Обеспечивает совместимость с широким набором девайсов
  • Специальные возможности для проведения тестирования локализации

Недостатки Applause:

  • Панель мониторинга недостаточно модернизирована
  • Если вы используете единый вход, интеграция с JIRA не работает
  • Applause недостаточно гибок в новой среде, например Windows 1

Эмуляторы для тестирования на мобильных устройствах

Эмуляторы мобильных телефонов помогают тестировать функционал приложения на разных мобильных платформах, таких как iPhone, iPad, Android и BlackBerry, в реальности не имея их под рукой.

Давайте рассмотрим некоторые популярные инструменты, которые легко найти в Internet.

Genymotion

geny motion logo

Genymotion —  AOSP (Android Open Source Project) эмулятор для тестирования приложений на Android.

Основные преимущества Genymotion:

  • Имитирует работу более 3 000 конфигураций виртуальных устройств во всех мыслимых ситуациях, для обеспечения лучшего взаимодействия с пользователем
  • Genymotion разрабатывает тест кейсы с Java API и автоматизирует их с помощью инструмента командной строки или с помощью плагинов Gradle, на стадии разработки
  • Продвижение и доставка стилей приложения

Следует упомянуть еще одну группу эмуляторов для мобильного тестирования. Каждый из них дублирует аспекты поведения исходного устройства. Вот некоторые из них:

Такие инструменты имеют общие для всех преимущества и недостатки.

Итак, основные преимущества тестирования с помощью мобильных эмуляторов:

  • Мобильные эмуляторы полностью бесплатны
  • Тестировать на эмуляторах – это просто
  • Баги или скриншоты легко фиксируются на эмуляторе
  • Эмулятор можно использовать для изучения поведения приложения

С другой стороны, существуют определённые недостатки такого тестирования:

  • Тестирование на эмуляторах может давать ложное впечатление о работе приложения
  • Так как мобильные эмуляторы запускаются на ПК, они имеют совершенно другую сетевую среду.
  • Эмуляторы не могут имитировать входящие SMS и вызовы.
  • Эмуляторы не поддерживают тестирование на совместимость, поскольку они не подключены к мобильной сети
  • Эмуляторы не могут имитировать работу при различном состоянии аккумулятора мобильного устройства, работу камеры мобильного устройства и т.п.

Инструменты для записи дефектов и тестирования мобильных приложений

Существуют инструменты, которые передают отчёты о багах непосредственно изнутри приложения. Ниже приведены некоторые из них.

Snaffu

snaffu logo

Snaffu – простой и эффективный инструмент для отправления баг-репорта изнутри приложения.

Основные преимущества Snaffu:

  • Для использования Snaffu не требуется никакого специального опыта
  • Автономное отслеживание багов
  • Snaffu даёт возможность кому угодно, откуда угодно и в любое время отправить баг-репорт
  • Автоматически фиксирует лог-файлы, оборудование, софт, особенности сети и приложения необходимые для баг-репорта
  • Snaffu обнаруживает, когда произошёл краш
  • Email уведомления о багах
  • Snaffu делает возможным автоматическое отправление отчётов о багах из таких систем тест менеджмента как Selendroid и Appium в баг-трекинговые системы наподобие Jira, Pivotal Tracker и Asana.
  • Он продолжает отправлять баг-репорты из вашего приложения даже без подключения

Недостатки Snaffu:

  • Предварительно заполненные отчеты о крашах доступны только для Android.
  • Видеозапись багов доступна только для Android

BugClipper

bug clipper logo

BugClipper – специальный инструмент, который делает процес баг-репортинга проще, продуманнее и эффективнее.

Он имеет следующие преимущества:

  • Бета-тестеры и конечные пользователи могут отправить отчёт о баге всего за три шага: Нажми. Опиши. Отправь готовый
  • Создаёт запись экрана
  • BugClipper создаёт детализированный баг-репорт
  • Поддерживает основные платформы: Android, iOS, Windows Phone, Mc OS
  • Минутная интеграция с другими системами
  • Собственное облако для пользователей «Премиум» класса

Недостатки BugClipper:

  • Дорогой инструмент для небольших команд. Вы можете отправить только 50 баг-репортов в месяц бесплатно, если в вашей команде не более 5 человек.
  • BugClipper эффективен только для iOs приложений.

Инструменты A / B тестирования для оптимизации мобильных приложений

A/B тестирование позволяет проверить две и более страниц приложения для того, чтобы определить какая из них лучше функционирует.

Ниже рассмотрены несколько инструментов A/B тестирования мобильных приложений.

Taplytics

taplytics logo

Taplytics — полностью интегрированная платформа для проведения А/В тестирования, отправки push-уведомлений и анализа мобильных приложений. Предлагает широкий выбор инструментов, необходимых для оптимизации вашего приложения.

Преимущества Taplytics:

  • Расширенная аналитика, пользовательская сегментация
  • Taplytics легко устанавливается
  • Детализированные отчёты
  • Taplytics BigQuery получает ваши данные, как только они создаются пользователями.

Недостатки Taplytics:

  • Сложность в использовании
  • В настоящее время Taplytics доступна только для iOS приложений.

Optimimo

Optimimo – инструмент для гибкого и многомерного A / B тестирования мобильных приложений, который использует сегментирование по размеру экрана, версии ОС, подключению к сети и т. п.

Optimimo имеет такие преимущества:

  • Лёгкая имплементация
  • Глубокая фильтрация
  • Обновления в режиме реального времени
  • Измерение показателей в режиме реального времени
  • Idea Factory запускает множество A / B тест-кейсов, начиная от иконок и заканчивая лендинговыми страницами.

Недостатки Optimimo:

  • Optimimo в настоящее время доступен только для iOS приложений
  • Мобильные тепловые карты не поддерживаются Optimimo

Выше были рассмотрены различные виды инструментов для тестирования мобильных приложений. Естественно, что не один из них не является самым лучшим. Каждый из них имеет свои преимущества и недостатки. И только от Вас зависит, как их использовать. Комплексное использование, по-видимому, является наиболее перспективным способом сделать ваше тестирование мобильных приложений более гибким и эффективным.