UPD:

-4. Тесты стали не проходить после перезапуска PhantomJS. Это нормально?

-10. Если в консоли прервать процесс gemini-gui, то страничка http://localhost:8000/ никак об этом не знает и продолжает выглядеть рабочей. Используйте socket.io для обозначения разрыва соединения.

/cc @arikon @sevinf

1. Это можно сделать, но "продакшен" у тебя должен быть на файловой системе в виде снятых скриншотов.
2. --reporter можно указывать больше одного раза. --reporter flat --reporter html и покажет в консоли, и создаст html отчет
3. gemini-gui показывает одну картинку если снятый скриншот соответствует эталону. Эталоны лежат на файловой системе.
4. Не понял
5. Можно. Это обычный javascript (tm) :)
6. В конфиге никак, в самом тесте можно выставлять через action setWindowSize()

Про фантом не понял проблемы

1. Ни у кого нет продакшена в виде скриншотов. Можно по шагам написать, что нужно делать, если стоит такая задача?
2. Я в курсе про 2 --reporter. Вопрос в том, что при --reporter html ничего не происходит. Выполнение команды заканчивается. Дальше что делать? Куда смотреть?
3. Я в курсе. Мой фидбек к том, что интерфейс не понятен.
4. При изменении интерфейса gemini может снять новые картинки только после перезапуска PhantomJS. Это неудобно. Можно сделать так чтобы не надо было перезапускать? -8. Про PhantomJS. Сейчас использование Gemini предполагает запуск PhantomJS в отдельном окне. Это неудобно. Я даю ссылку на инструмент, делающий почти то же самое и не требующий запуска PhantomJS в отдельном окне. Вы можете сделать в Gemini так же? -9. Предвкушая ответ на предыдущий вопрос я интересуюсь, могу ли я сама "напрограммировать" что-то, что избавило бы меня от необходимости запускать (и перезапускать!) PhantomJS в отдельном окне. Это не относится напрямую к Gemini. Но я так понимаю, кто-то может знать способ. Прошу подсказки.

1. gemini сравнивает эталонные скриншоты с теми, что собрались во время тестов. gemini не сравнивает "этот сайт и этот". Чтобы собрать эталоны нужно выполнить gemini gather.
2. если указан только --reporter html то в консоли ничего и не будет - все выводится в html отчет

gemini работает через webdriver API, а не как-то напрямую с фантомом. Он даже не знает фантом это или что-то еще. Поэтому запуск фантома вне скоупа gemini.

1. То есть собирать скриншоты надо с одним конфигом, а тестировать с другим? При том что не допускается иметь два разных конфига? Короче, мне кажется, этот вопрос надо проработать. Варианты решения:
   1. В конфиге можно было бы указать production УРЛ и development Url. В простом случае они совпадают
   2. Можно было бы указать разные конфиги. Тогда для сбора скриншотов использовался бы один, а для тестирования другой. Тут правда минус, что YAML не поддерживает include, а эти два конфига будут во многом совпадать.
2. Этот отчет не открывается сам? (Это ожидаемое поведение). Как его найти? Локальный адрес отчета, как я вижу не выводится в консоль. -9. Насчет PhantomJS: Можно разработать какую-то "обёртку" над Gemini, которая бы запускала и Gemini и Phantom? Если это теоретически возможно, подскажите куда копать.

Конфиг можно указать в аргументах gemini. Переопределить урл конфига тоже можно через аргументы.

Отчет не открывается. Лежит по дефолту в gemini-report.

Самой простой оберткой может быть баш скрипт, который запускает фантом, потом джемини.

Адрес отчета при --reporter html можно выводить в консоль. Нравится вам такая идея? Сделаете?

Если всё таки нет, то может быть вот сюда https://ru.bem.info/tools/testing/gemini/ написать, где смотреть отчеты?

Как решать проблему что при каждом изменении интерфейса надо перезапускать PhantomJS? Например, как вы её решаете при использовании инструмента?

Надо @SevInf спросить. Вообще это описано тут https://github.com/gemini-testing/gemini/blob/master/doc/commands.md

Например, как вы её решаете при использовании инструмента?

Мы не пользуемся фантомом. У нас все работает в selenium grid. Там поднимаются разные настоящие браузеры.

@arikon @sevinf Ответьте пожалуйста на мои вопросы (будет эффективно, если на изначальные, не учитывая переписку).

1. Как-то так:

   gemini gather --root-url http://production
   gemini test --root-url http://localhost
   

2. Если из репортеров указан только html, то в консоль ничего не выводится (можно указать flat и html и получить оба отчета одновременно). Сам репорт сохраняется в папку gemini-report, даже если все тесты прошли. Если его там нет, то это баг — скинь минимальный пример, на котором это можно повторить.
3. Если картинки никак не отличаются между собой, то показывается только одна.

4. Какой-нибудь такой код должен помочь:

   var pages = ['/page1-url', '/page2-url', ..., '/pageN-url'];
   pages.forEach(function(pageUrl) {
       gemini.suite(pageUrl, function(suite) {
            suite.setUrl(pageUrl).setCaptureElements('body').capture('page');
       });
   });
   

5. Да, в прошлом примере один из вариантов.

6. В текущей стабильной windowSize один на всех и помогут разве что разные конфиги. В 0.13-alpha можно так:

   desiredCapabilities:
     browserName: 'phantomjs'
   browsers:
      iphone6:
         windowSize: 1334x750
      iphone5:
         windowSize: 1136x640
     1080p:
         windowSize: 1920x1080
   

   Но 0.13 еще в процессе разработки и на новый формат конфига еще нет документации.

7. Мы расчитывали на работу по протоколу webdriver без привязки к каким-либо конкретным браузерам, соответственно и автозапуска браузеров (включая фантом) не предусмотрено.
8. Можно сделать плагин, который перед стартом тестов будет запускать фантом. Вот пример плагина который автоматом стартует утилиту перед тестами и завершает после.

@SevInf,

Спасибо за ответы, многое прояснилось :-) Есть ещё дополнительные вопросы.

1. Насчёт --report html. Даже если тесты не проходят, в консоль ничего не сообщается (сам отчет формируется, с этим проблем нет). Может быть сделать вывод в консоль "Смотрите отчет в ./gemini-report/index.html"? Также, вот тут https://ru.bem.info/tools/testing/gemini/#Использование-cli впервые упоминается --report html. Но не говорится о том, где смотреть отчеты. Несмотря на то, что об этом написано в более подробной документации, советую указать и тут тоже. Из тех соображений, чтобы смотря на эту страницу, человек мог совершить законченное действие — запустить тесты и посмотреть их.
2. Насчет того что в gemini-ui не показываются неиспорченные картинки. Я в курсе что они не показываются :-) Я же об этом и пишу. Когда человек начинает использовать инструмент, 99% у него не будет не проходящих тестов. Потому что секунду назад он снял эталонные скриншоты и сразу запустил тесты. При этом в gemini-ui видна только одна картинка, из которой не понятно ничего. Может вам в любом случае показывать 3 картинки? Только в пройденном тесте писать что-нибудь вроде "no difference". Или не показывать 3 картинки, но написать словами, что разницы нет.
3. Как насчет использования socket.io? (Предложено в 1м комменте)

@varya @SevInf Не могли бы вы вместо номеров вопросов / реплик при ответах использовать цитирование вопроса? Непонятно, на какой вопрос или какую предыдущую реплику дан ответ. Это очень мешает присоединиться к дискуссии.

@varya

Даже если тесты не проходят, в консоль ничего не сообщается (сам отчет формируется, с этим проблем нет). Может быть сделать вывод в консоль "Смотрите отчет в ./gemini-report/index.html"?

https://github.com/gemini-testing/gemini/issues/188

Может вам в любом случае показывать 3 картинки?

@SevInf Что думаешь?

Как насчет использования socket.io? (Предложено в 1м комменте)

https://github.com/gemini-testing/gemini-gui/issues/15

@varya С радостью примем pr про созданные issue =)

@SevInf Что думаешь?

Я не уверен, что 3 одинаковых картинки не будут сильнее с толку сбивать. Имхо, лучше как-то более явно в интерфейсе показать, что разницы нет, тест прошел.