🎓 Основная информация о вебинаре

О спикере

Спикер — опытный QA-инженер с 10-летним стажем в тестировании:

Выпускница Омского государственного университета Достоевского (физический факультет)
6 лет преподавала физику, затем перешла в IT
Работает в финтех-компании на платформенных сервисах в Москве
Блогер с 5-летним опытом создания контента о тестировании
Создатель нескольких онлайн-курсов и проводит регулярные вебинары

📚 Раздел 1: Основные понятия логирования

Определение логов

Логи (лог-файлы) — это текстовые файлы, содержащие структурированную информацию о событиях, происходящих в системе.

Что хранится в логах?

Логи фиксируют разнообразные события и данные:

Действия пользователей — навигация, операции с данными
Системные события — запуски, остановка сервисов, внутренние ошибки
Состояние компонентов — информация о работе различных частей системы
Взаимодействие компонентов — обмен данными между модулями и внешними сервисами
Временные метки — точное время и даты произошедших событий
Идентификаторы сессий — отслеживание пользовательского пути и действий

Определение логирования

Логирование — это систематический процесс записи, фиксации и структурирования информации о событиях и состояния работающей системы в специальные лог-файлы.

🎚️ Раздел 2: Уровни логирования

Уровни логирования определяют приоритет и тип информации, записываемой в логи.

Основные уровни логирования

Уровень	Назначение	Что фиксирует	Используется для
TRACE	Пошаговые записи	Все события процесса	Глубокая отладка (используется редко)
DEBUG	Подробная отладка	События всех уровней (DEBUG, INFO, WARNING, ERROR, CRITICAL)	Разработка и тестирование, система отладки
INFO	Информационные сообщения	Общая информация о работе, события без ошибок, переходы состояния	Мониторинг стандартной работы
WARNING	Предупреждения	События, которые могут потенциально привести к ошибкам	Выявление проблемных ситуаций
ERROR	Критические ошибки	Ошибки при работе модулей, интеграционные сбои	Тестирование (основной уровень для QA)
CRITICAL	Критические сбои	Критические ошибки в системе	Аварийные ситуации
FATAL	Фатальные ошибки	Неисправимые ошибки системы	Полный отказ системы

Ключевой момент для QA

При тестировании QA-инженеры устанавливают уровень логирования ERROR и смотрят в фильтрах, были ли ошибки при прохождении:

Сквозного сценария
Пользовательского пути
Интеграционного теста
Критического пути

Важно: Наличие уровня логирования зависит от разработки проекта. Иногда уровни могут отсутствовать или быть настроены по-другому.

📂 Раздел 3: Типы логов

В системах различают несколько типов логов, каждый из которых отслеживает определённые события:

3.1 Интеграционные логи

Назначение: Отслеживание взаимодействия с внешними системами

Содержат:

Запросы и ответы к API внешних систем
Ошибки при интеграции
Время ответа внешних сервисов
Duration (время обработки запроса)

Значение для QA: Длительное время обработки запроса между сервисами — потенциальный дефект

3.2 Авторизация и аутентификация

Назначение: Управление доступом и отслеживание безопасности

Содержат:

Успешные и неудачные попытки входа
Смену пароля и восстановление доступа
Выход из системы
События, связанные с безопасностью доступа

Использование: Аудит, выявление несанкционированных попыток доступа, отслеживание активности пользователей

3.3 Системные и прикладные логи

Назначение: Мониторинг внутренних процессов

Содержат:

Запуск, остановка сервисов
Внутренние ошибки и выполнение кода
Использование системных ресурсов
События операционной системы

3.4 Пользовательские логи

Назначение: Отслеживание действий пользователя

Содержат:

Навигацию по разделам
Изменение настроек
Выполнение операций с данными
Взаимодействие с интерфейсом

3.5 Логи базы данных

Назначение: Фиксирование всех процессов, связанных с обращением к БД

Содержат:

Запросы к базе
Изменения данных
Ошибки при обращении к БД

3.6 Серверные логи

Назначение: Состояние и доступность серверов

Содержат:

Запросы и ответы веб-сервера
Ошибки веб-сервера
Доступность ресурсов

🔍 Раздел 4: Что анализируют в логах?

При анализе логов QA-инженеры обращают внимание на:

Временные метки — точное время события
Идентификаторы — ID пользователя, ID сессии, ID запроса
Данные запросов и ответов — параметры API вызовов
Уровни и типы событий — приоритет события
Метрики производительности — время ответа, размер данных
Информация о пользователе и сессии — отслеживание пользовательского пути
Текстовые сообщения — описание события

🔐 Конфиденциальность данных в логах

Важно: Логи должны содержать маскированные персональные данные:

Номера и серии паспортов должны быть замаскированы
Номера кредитных карт должны быть скрыты (заменены звёздочками)
Личные идентификаторы должны быть защищены

Особенно важно в финтехе: Все чувствительные данные должны отображаться в виде звёздочек или других маскировочных символов.

🔧 Раздел 5: OpenSearch — инструмент логирования

Что такое OpenSearch?

OpenSearch — это мощная распределённая система поиска и аналитики, изначально разработанная как открытый форк Elasticsearch. Была создана компанией Amazon для обеспечения свободного доступа к инструментам поиска после изменения лицензионной политики Elasticsearch.

История создания

Elasticsearch (Elastic Search) долгое время был стандартом для логирования
В 2021 году Elastic изменила лицензионную политику
Amazon создала OpenSearch как свободную альтернативу
В современных компаниях всё чаще используют OpenSearch Dashboards вместо Kibana

Основные характеристики OpenSearch

Полнотекстовый поиск — быстрый поиск по содержимому логов
Аналитика — комплексный анализ больших объёмов данных
Индексирование — эффективное хранение и организация данных
Распределённая архитектура — обработка миллионов документов
Масштабируемость — расширяемость системы

🏗️ Раздел 6: Архитектура OpenSearch (три ключевых компонента)

Компонент 1: OpenSearch (ядро)

Назначение: Основная база данных и поисковый движок

Функции:

Хранение индексов (аналог таблиц в БД)
Полнотекстовый поиск и аналитика
Управление данными
Быстрый поиск проблем в логах

Компонент 2: Logstash (конвейер обработки)

Назначение: Сбор, трансформация и обогащение логов из различных источников

Функции:

Сбор логов из множества источников
Парсинг и трансформация данных
Фильтрация и обогащение информации
Отправка обработанных данных в OpenSearch

Компонент 3: OpenSearch Dashboards (визуализация)

Назначение: Веб-интерфейс для взаимодействия с OpenSearch

Функции:

Визуальный поиск и анализ данных
Создание графиков и диаграмм
Мониторинг данных в реальном времени
Интерактивное исследование логов

Поток данных в системе


Приложение (события)

    ↓

Beats (агенты сбора логов)

    ↓

Logstash (обработка данных)

    ↓

OpenSearch (хранение и индексирование)

    ↓

OpenSearch Dashboards (визуализация)

🗂️ Раздел 7: Ключевые концепции OpenSearch

Кластер

Определение: Группа узлов (серверов), обеспечивающих высокодоступную и масштабируемую инфраструктуру для работы с данными.

Для QA: Взаимодействие с кластером происходит через API или Dashboards

Узлы (Nodes)

Определение: Отдельные серверы, входящие в состав кластера

Для QA: Вспомогательная информация, не требуется глубокого понимания

Шарды (Shards)

Определение: Разделение индекса на части для распределённого хранения и параллельной обработки запросов

Назначение: Обеспечивает параллельную обработку и распределение больших объёмов данных

Индекс (Index)

Определение: Структура, позволяющая фильтровать и исследовать конкретные наборы логов

Аналогия: Индекс похож на таблицу в базе данных

Для QA: Индексы часто используются для переключения между разными наборами логов при поиске ошибок и проверке функциональности

Пример: Если в системе несколько приложений, каждое может иметь свой индекс

Документ (Document)

Определение: Отдельная запись в логе, представляющая одно событие

Формат: JSON-объект с информацией о сущности

Для QA: При анализе логов каждая строка в таблице — это один документ

💻 Раздел 8: Интерфейс OpenSearch Dashboards (Discover)

Основные элементы интерфейса

Выбранные поля (Selected fields)

Часто используемые поля, которые удобно отображать в работе:

Настраиваются пользователем для быстрого доступа
Упрощают анализ логов

Доступные поля (Available fields)

Все поля, которые есть в индексе:

Используются при создании фильтров
Можно добавлять в выбранные поля

Документы

Список всех логов в индексе:

Отображаются в таблице или JSON формате
Каждый документ — отдельная запись события

Форматы отображения

Таблица: Структурированное представление логов в строках и колонках

JSON: Полный формат документа с текстом и метаданными

Кнопка Refresh

Обновляет список документов и показывает новые логи

🔤 Раздел 9: Служебные и пользовательские поля

Служебные поля (Service fields)

Поля, которые автоматически генерируются системой:

_index — имя индекса, где хранится документ
_id — уникальный идентификатор документа
_score — показатель релевантности документа к запросу
_type — тип документа
_source — исходные данные документа

Пользовательские поля (User fields)

Поля, которые содержат данные приложения:

entityType — тип сущности
parentEntityId — родительский идентификатор
title — название/описание
и другие, в зависимости от приложения

🔎 Раздел 10: Язык запросов

Query DSL vs DQL

Query DSL (Domain Specific Language)

Специализированный язык запросов в формате JSON
Используется для создания сложных запросов
Позволяет использовать фильтры и агрегации
Сложнее для написания, но мощнее

DQL (Domain Query Language)

Упрощённый синтаксис для поиска
Легче писать и понимать
Подходит для базовых текстовых запросов
Рекомендуется для начинающих

Основные операторы поиска

Оператор	Назначение	Пример
match	Полнотекстовый поиск	`title: login`
range	Поиск в диапазоне	`timestamp: [2024-01-01 TO 2024-12-31]`
term	Точное совпадение	`entityType: 1`
exist	Проверка наличия поля	`field:*`

Логические операторы

AND — документ должен соответствовать всем условиям
OR — документ должен соответствовать хотя бы одному условию
NOT — документ не должен соответствовать условию

📝 Раздел 11: Практический анализ логов

Пример 1: Поиск по ID сессии


sessionId: "user-session-12345"

Использование: Отслеживание всех действий конкретного пользователя в один сеанс

Пример 2: Поиск по типу сущности и названию


entityType: 1 AND title: "login"

Использование: Поиск логов только определённого типа события

Пример 3: Поиск с оператором OR


entityType: 1 OR entityType: 2

Использование: Поиск логов по нескольким типам сущностей одновременно

Пример 4: Поиск с частичным совпадением (постановочные символы)

title: "open*"

Использование: Поиск по началу слова (например, найти всё, что начинается с "open")

Важно: Звёздочка (*) пишется только в конце слова (например: word*), не в начале

Пример 5: Поиск с NOT


entityType: 1 NOT title: "login"

Использование: Исключение определённых результатов из поиска

🎯 Раздел 12: Фильтрация в Discover

Что такое фильтр?

Фильтр — это условие для отображения только нужных логов в интерфейсе

Способы добавления фильтров

Кнопка "+ Add Filter" — добавить новый фильтр из списка
Клик на значение в документе — автоматически добавляет фильтр по этому значению
Написание в поле поиска — DQL синтаксис

Параметры фильтра

is — точное совпадение значения
is not — исключение значения
exists — проверка наличия поля

Практическое применение

Допустим, вы тестируете пользовательский путь:

Выполняете сквозной сценарий
Устанавливаете фильтр по ID сессии
Смотрите на дашборде все логи, генерированные этой сессией
Устанавливаете фильтр по уровню ERROR
Проверяете, были ли ошибки при прохождении сценария

🛠Раздел 13: Инструменты логирования

Современные инструменты для анализа логов

Инструмент	Использование	Когда используется
OpenSearch	Основной поисковый движок	Индексирование и поиск логов
Logstash	Обработка и преобразование данных	Парсинг входящих логов
OpenSearch Dashboards	Визуализация и анализ	Просмотр и работа с логами
Kibana	Альтернативная визуализация	Используется с Elasticsearch
Grafana	Мониторинг и метрики	Создание графиков и дашбордов
Android Studio LogCat	Логирование мобильных приложений	Тестирование Android приложений
Browser DevTools Console	Логи браузера	Тестирование фронтенда
Postman Console	Логи API запросов	Тестирование API
OpenShift Console	Логирование контейнеров	Kubernetes среда
Kubernetes Logs	Логи контейнеров	Cloud-native приложения

Чтение логов в разных окружениях

SSH/Terminal — использование grep, просмотр локальных файлов
Kubernetes — просмотр логов подов через kubectl logs
OpenShift — просмотр логов проекта через консоль
Cloud Console — встроенные инструменты облачных платформ

📚 Раздел 14: Курс по тестированию бэкенда

Содержание курса

Спикер предлагает онлайн-курс по тестированию бэкенда, который включает:

Основные модули:

Ведение и организация работы
Подготовка тестового окружения
Установка необходимых инструментов
Выполнение тестирования
Автоматизация API тестов

Дополнительные модули:

Работа с Kafka (потоковая обработка)
ClickHouse (аналитическая база данных)
Grafana (визуализация метрик)

Система обучения:

Практические задания и проекты
Проверка и обратная связь от преподавателя
Ежемесячные встречи и лекции
Доступ к чату с однокурсниками
Сертификат по завершению

Тарифы и сроки

Стандартный: 2 месяца обучения
Расширенный: 4 месяца обучения
Максимальный: Полный доступ на срок курса

Доступ к материалам обычно предоставляется на 6 месяцев.

Система проверки работ

Студент выполняет практические задания
Преподаватель проверяет работу и даёт обратную связь
Нужно сдать минимум 4 отчёта для завершения курса
В отчётах должны быть скриншоты, анализ и логика нахождения багов
При наличии проблем, преподаватель может продлить доступ на 30 дней

🌐 Раздел 15: Рекомендуемые ресурсы

Официальная документация

OpenSearch Documentation — полная документация инструмента
OpenSearch Dashboards Guide — руководство по работе с интерфейсом
Query Language Reference — справка по синтаксису запросов

Статьи и гайды

Статья на Хабре — подробное описание работы с Kibana (применимо к OpenSearch)
Инструкция по OpenSearch Dashboards — пошаговое руководство
Инструкция по Kibana — документация альтернативного инструмента

Дополнительные ресурсы

OpenShift Console Documentation — работа с контейнерами
Kubernetes Logs Guide — логирование в Kubernetes
Server Log Analysis Guide — анализ серверных логов