Высоконагруженная финтех-система
Создали систему обработки финансовых транзакций под высокую нагрузку.
Клиент
Компания клиента занимается денежными переводами и работает по всему миру. Клиент обратился к нам в 2023 году с вполне конкретной задачей – автоматизировать проведение финансовых транзакций. Продукт предназначался для обработки и контроля рабочих процессов по транзакциям внутри компании.
Бизнес клиента рос, поток транзакций рос, а учет все еще велся в таблицах Excel. Без автоматизации масштабировать бизнес трудно – клиент это прекрасно понимал. У него уже было три или четыре кандидата на роль разработчика. Мы выиграли, предложив решение, которое закрыло бы задачу и при этом уложилось бы в бюджет без потери качества.
Вызовы
Сторонняя компания уже провела аналитику, поработав над пользовательскими историями и декомпозицией задач в Jira. Однако аналитика не отражала реальные бизнес-процессы клиента и не могла быть использована как основа для разработки. Истории оказались разрозненными, попытка опираться на эту аналитику замедлила бы разработку и увеличила бюджет.
Поэтому мы сами очертили функциональный периметр. Получили таким образом возможность отталкиваться от реального положения вещей, предоставить клиенту работающее решение быстрее и не раздувать бюджет.
Основное внимание нужно было направить на работу с большими объемами данных.
1. Стабильность и скорость
Сервис должен был стабильно обрабатывать миллионы транзакций в сутки без потери данных и деградации производительности.
2. Доступность
Типы данных постоянно меняются, необходимо учитывать эту разнородность. У клиента должен быть способ самостоятельно, без привлечения разработчика, задавать правила подключения для новых источников файлов.
Проектирование highload-системы:
Преобразование данных
Решено было использовать ETL-подход, чтобы привести данные из разных источников к единому формату перед обработкой. «Сырые» данные агрегируются из разных источников, преобразуются и выгружаются уже в единую целевую систему.
ETL-процессы создают дополнительную нагрузку на инфраструктуру, однако мы детально изучили ИТ-ландшафт клиента на старте и убедились, что мощностей хватит.
Интеграция данных
Подключили внешнюю систему построения аналитических отчетов Qlik – инструмент для аналитики и визуализации данных.
Конструктор подключений
Мы сделали конструктор подключений в виде JSON-структуры. Он описывает структуру данных и правила их обработки и валидации в ETL-базе: куда и какие данные должны попадать. Все SQL-запросы к источникам формируются динамически на основе типа файла. Клиенту не нужно привлекать разработчиков для подключения новых типов файлов.
Горизонтальное масштабирование
Данные разбиваются на несколько сегментов и распределяются между серверами. Каждый сегмент масштабируется независимо от других.
Информационная безопасность
Финансовые компании – частые объекты кибератак. Мы понимаем природу киберугроз в индустрии, поэтому заложили в архитектуру механизмы защиты данных и контроля доступа. Разработанный продукт соответствует нормам безопасности хранимых и передаваемых данных.
Технологии
Бэкенд
Go (Echo)
Обработка событий
Kafka
Фронтенд
React
База данных
PostgreSQL
Обработка данных
ETL
Инфраструктура
Ansible
Управление доступом
Keycloak
Результат
Мы построили систему, которая охватывает полный цикл обработки транзакций – от загрузки данных до их сверки, аналитики и отчетности.
Система обеспечивает обработку до миллиона транзакций в сутки. Ручная обработка транзакций сведена к настройке правил обработки данных, сотни таблиц Excel – до нуля.
Продукт прошел проверку на рядовых сотрудниках, клиент рассматривает возможность упаковки решения как отдельного продукта.
Возможности системы:
- Назначение разных ролей: клиенты, эквайеры, провайдеры, а также добавление контрактов и прайсингов, по которым они работают.
- Создание записей о денежных транзакциях вручную и в автоматическом режиме.
- Сверка транзакций между инкассатором и банком (когда банк-эквайер подтверждает, что платеж действительно обработан).
- Автоматическая выгрузка данных о транзакциях через API.
- Сверка курсов обмена валют.
- Сводные отчеты, уведомления обо всех событиях в системе на почту и в мессенджер.
Визуальные материалы адаптированы в соответствии с NDA, при этом логика системы и сценарии работы сохранены.
автоматизировали бизнес клиента.
транзакций проводится в системе за сутки.
С самого начала проекта и до его успешного завершения компания Zuzex неизменно демонстрировала высочайший уровень профессионализма. Их внимание к деталям и стремление понять и актуализировать наши потребности привели к созданию приложения, которое не только отвечает всем нашим требованиям, но и превосходит наши ожидания.
Что происходит дальше:
Мы получаем запрос, обрабатываем его в течение 24 часов и связываемся по указанным вами e‑mail или телефону для уточнения деталей.
Подключаем аналитиков и разработчиков. Совместно они составляют проектное предложение с указанием объемов работ, сроков, стоимости и размера команды.
Договариваемся с вами о следующей встрече, чтобы согласовать предложение.
Когда все детали улажены, мы подписываем договор и сразу же приступаем к работе.