| Наименование РИД |
Программа для автоматического сбора навигационных данных с защищенного веб-ресурса
|
| Реферат |
Программа предназначена для автоматизированного сбора, обработки и сохранения навигационных данных о морских судах с защищённого веб-ресурса, таких как координаты, курс, скорость, флаг, порт назначения и некоторых других. Данные извлекаются с сервиса MarineTraffic путём взаимодействия с веб-интерфейсом с помощью Chrome в headless режиме. Особенностью реализации является использование низкоуровневых сетевых событий браузера (через Chrome Developer Protocol) для перехвата API-запросов и извлечения содержимого ответа без необходимости непосредственного использования API сервиса. Собранные данные дополнительно обрабатываются и структурируются. Обработка включает в себя фильтрацию, удаление дубликатов и временную нормализацию. Полученный набор данных может быть сохранён в формате JSON, а также загружен в предварительно настроенную базу данных PostgreSQL. Загруженные данные в БД сопровождаются метаинформацией о времени сбора и идентификаторами сессий. Программа реализует следующие функции: автоматическое управление браузером и обход cookie-уведомлений; динамическую навигацию по координатам из файла positions.json; захват и парсинг сетевого трафика браузера для получения информации о судах; фильтрацию и нормализацию информации о морских судах; сериализацию данных в формат JSON; загрузку данных в СУБД PostgreSQL с проверкой и добавлением недостающих справочных данных (флаги, направления); регистрацию события парсинга с временными метками начала и завершения процесса; использование Docker-контейнера и автоматический запуск процесса через shell-скрипт.
Программа может масштабироваться и модифицироваться для других источников данных, интегрироваться в системы мониторинга.
|
| Возможные направления использования |
Данные, собранные программой, могут использоваться в научно-исследовательской работе, в сфере морской логистики, для мониторинга и анализа движения судов.
|
| Количество опытных образцов |
1
|
| Количество просмотров |
2
|
| Наличие дополнительных файлов |
True
|
| Использование РИД правообладателем |
False
|
| Внешнее использование РИД |
False
|
| НИОКТР (JSON) |
{}
|
| ИКСИ (JSON) |
[]
|
| ИКСПО (JSON) |
[]
|
| ОЭСР (JSON) |
[]
|
| Дата первого статуса |
2025-10-15T08:20:03.432688+00:00
|
| Предполагаемый тип результата |
Программа для ЭВМ
|
| Ожидаемая роль |
Исполнитель
|
| Заказчик |
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "ВЛАДИВОСТОКСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ"
|
| Руководитель работы |
Водяницкий Марк Вадимович
|
| Руководитель организации |
Терентьева Татьяна Валерьевна
|
| Регистрационный номер НИОКТР |
—
|
| Последний статус |
Подтверждена, 625102400108-1, 2025-10-24 09:30:51 UTC
|
| ОКПД |
Оригиналы программного обеспечения прочие
|
| Ключевые слова |
Программа; Защищенный веб-ресурс; Сбор навигационных данных; Автоматический сбор
|
| Исполнители |
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "ВЛАДИВОСТОКСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ"
|
| Авторы |
Водяницкий Марк Вадимович
|
| Коды тематических рубрик |
50.41.23 - Программное обеспечение вычислительных сетей
|
| OESR |
Автоматизированные системы управления
|
| Приоритеты научно-технического развития |
Отсутствует
|
