Статья представляет собой дальнейшее развитие темы методологии выявления тенденций на рынке труда, затронутой в публикации 2024-го года на сайте Rutrud («Тонкие тренды на рынке труда на примере навыка работы с нейросетями«). Материал по указанной ссылке рассматривает выявление трендов на основании анализа всего спектра профессиональных направлений, а данная работа фокусируется непосредственно на выявлении трудовых трендов внутри отдельных профессий.

Содержание статьи:

Что мы делаем?

Формируем список профессий с учетом требуемой квалификации.
В итоге имеем длинный перечень профессий и специальностей, который представляет так называемые «основные» профессии рынка труда. Для каждой профессии (точнее — специальности) выделяются требуемые на рынке труда уровни квалификации (разряд, категория или опыт работы).

Обрабатываем вакансии по данным профессиям и извлекаем должностные обязанности.
Мы берем открытые вакансии, опубликованные на разных сайтах (HeadHunter, Работа России и так далее), и убираем все дубликаты. После чего берем описания должностных обязанностей (поля: Responsibilities/Duties) из соответствующих вакансий.

Машинная обработка текста для получения «чистых» выражений.
Полученные должностные обязанности «очищаются» от лишних слов таким образом, что в итоге остаются конкретные трудовые действия, которые представлены словосочетаниями или отдельными словами.

Формируем данные за каждый квартал, начиная с 2020 года.
Мы берем срезы вакансий по линии времени, начиная с 2020-го года. И получаем описание трудовых действий по каждому срезу, чтобы посмотреть на их динамику.

Сравниваем, как трансформируется профессия на линии времени
Мы сравниваем полученные результаты и смотрим, как профессия «трансформируется» во времени: какие трудовые действия исчезают, а какие появляются новые. И как именно это происходит.

Распространение тренда по стране.
Мы получаем данные по России в целом и отдельно по городам (берем все административные центры страны и крупные города). Это помогает рассматривать и анализировать «распространение» трендов по стране. Найти место, где тренд «зарождается» и отслеживать, как он охватывает территорию страны.

Из чего состоят профессии

Каждая профессия — это набор трудовых действий, для которых требуются конкретные орудия труда и знания/навыки их использования. Вся эта информация есть в описании вакансий — в графе должностные обязанности. Для массовых профессий они более полные, для редких – менее.

В процессе анализа мы создаем частотный список фраз и смотрим, в скольких вакансиях эта фраза используется. Это позволяет нам получить так называемое ядро – некий инвариант, неизменяемая часть, описывающая профессиональные обязанности и требуемые компетенции.

Но есть еще и фронтир — это низкочастотные требования, которые появляются в небольшом количестве вакансий. Если эти требования появились и исчезли, то и бог с ними. Но есть такие, которые срез от среза (по линии времени) увеличивают свою частоту. Это уже тренд. В какой-то момент тренд может попасть в ядро, и тогда это уже «стандарт» профессии.

Не все тренды растущие, есть и затухающие. Они могут «выйти» из ядра и шаг за шагом (срез за срезом по линии времени) терять свою частотность.

Для чего всё это нужно — чем это полезно?

Система профессионального образования

Учебные учреждения (в первую очередь – СПО, потом ВУЗы) — возможно главные бенефициары получаемой аналитики по профессиям, которым они обучают. Найденные тренды позволяют спланировать как изменения в образовательной части, так и те обновления материальной базы, которые потребуются.

Работодатели

Быть «в тренде» — то есть знать, что происходит за пределами собственного предприятия. Как правило, работодатели хорошо знают тренды в своей отрасли или по своим основным профессиям. Но, как говорится, «доказательная база» лучше интуитивной. Конкретные цифры распространения трендов разной силы выраженности и географии – прекрасный способ узнать новое.

Соискатели по профессии

Если конкретный профессионал знает все изменения в своей профессии и способен самостоятельно овладеть новыми навыками, которые требуют новые тренды, — его конкурентоспособность и ценность в глазах работодателя вырастают. Возможно, вместе с размером заработной платы.

Ниже представлена научная статья, сформированная совместно с Chat-GPT-5 на основании анализа проектной документации и архитектуры кода программного обеспечения по аналитике трендов.

Выявление скрытых трендов рынка труда по данным вакансий: сравнительный анализ «фронтира» должностных обязанностей (Россия, 2020–2025)

Автор: коллектив проекта rutrud.com

Организация: АНО «ЦНИ СППТ»

Контакты: crcg.ru, welcome@rutrud.com

Дата: 05.12.2025

*** Дисклеймер ***

Текст данной статьи от и до сформирован ChatGPT-5 по представленным ему материалам, включая подробное описание проекта, архитектуру программного обеспечения и ответы на уточняющие вопросы чата.

Первая версия методики исследования скрытых трендов рынка труда была разработана и представлена в 2021 году в рамках программного обеспечения «Цифровая модель рынка труда». Тезаурус используемой методики и ПО отличается от ряда упоминаемых терминов в данной статье, но общий смысл, используемые процедуры и алгоритмы соответствуют написанному.

*** ***

Аннотация. Статья описывает прикладную методику раннего обнаружения трендов на рынке труда России по текстам вакансий (2020–2025). Ключевая идея — сравнение «фронтира» (восходящих и новых терминов в разделе «обязанности») между кварталами при стабильном «ядре» (устойчивый, базовый словарь обязанностей). Методика представлена в двух уровнях: понятном неспециалисту и расширенном исследовательском. Формализованы метрики (DF, нормированная частота, логарифмическое отношение шансов с информативным сглаживанием, устойчивые коллокации, Жаккар), указаны пороги, допуски и проверки устойчивости (бутстрап). Результат — карта трендов: растущие, затухающие и «вопросительные» (emerging) обязанности, агрегированная по стране и с разрезами по городам и уровням квалификации/разрядам.

Ключевые слова: рынок труда, вакансии, должностные обязанности, фронтир, ядро, тренды, текстовый анализ, цифровая модель рынка труда, Россия, 2020–2025.

1. Введение и проблематика

Своевременное распознавание трендов на рынке труда критически важно для трёх групп стейкхолдеров: системы профессионального образования, работодателей и соискателей. Образование, опираясь на ранние признаки изменений, может оперативно обновлять программы, снижая лаг между обучением и практикой. Работодатели — «быть в тренде» — получают преимущество за счёт внедрения новых технологий и процессов до их массового закрепления. Соискатели, освоив навыки, которые уже начинают требоваться, но ещё не стали отраслевым стандартом, получают ощутимые конкурентные преимущества.

Мы предлагаем подход к изучению рынка труда, ориентированный на «фронтир» должностных обязанностей — раннюю фазу появления новых терминов в текстах вакансий. Если изменения добираются до «ядра», это уже устойчивое явление. Задача исследования — увидеть тренд заранее и картировать его динамику во времени и пространстве (по городам и по уровням квалификации/разрядам).

2. Термины и сокращения

Обязанности — раздел вакансии, описывающий содержание труда (что делать), в отличие от «Требований» и «Условий».
Термин — лемматизированное слово или устойчивая словосочетательная единица (коллокация), нормализованная с учётом синонимов и аббревиатур.
Ядро — устойчивый, высокочастотный набор терминов, характерный для профессии/города в данный период.
Фронтир — новые или быстро растущие термины (восходящие), а также «новички» (emerging), чья представленность заметна, но ещё не вошла в ядро.
DF (Document Frequency) — доля вакансий, где термин встречается.
TF (Term Frequency) — частота употребления термина, нормированная на общий объём токенов (в статьe используем норму на 10 000 токенов).
Лог-odds — логарифмическое отношение шансов встретить термин в одном корпусе по сравнению с другим; используем с информативным Дирихле-сглаживанием для устойчивости к редким словам.
Коллокация — устойчивое словосочетание (би-/триграмма), отбираемое по статистике совместной встречаемости (PMI, LR).
Бутстрап — статистический метод переоценки устойчивости показателей через многократное ресемплирование данных.
Коэффициент Жаккара — мера схожести множеств (пересечение делить на объединение), применяемая к ядрам разных периодов.

3. Методика исследования

3.1. Простое описание (для неспециалистов)

Мы собираем тексты вакансий по кварталам с 2020 по 2025 год, объединяем несколько источников и убираем дубликаты. Из каждого объявления выделяем именно раздел «Обязанности». Разбиваем текст на слова и устойчивые словосочетания, приводим синонимы и варианты к единой форме. Далее считаем, насколько часто термины встречаются и в скольких объявлениях они присутствуют. По этим показателям определяем «ядро» (частые, повсеместные обязанности) и «фронтир» (новые и быстро растущие признаки). Сравниваем квартал к кварталу, год к году, строим карту трендов по стране и по отдельным городам, а также по уровням квалификации/разрядам.

3.2. Расширенное описание (для исследователей)

Данные и окна сравнения. Россия, ежеквартально 2020Q1–2025Q4. Сравнения «год к году» (например, 2024Q3 vs 2025Q3) и «скользящее окно» (последние 4 квартала vs предыдущие 4). Источники — консолидированные базы вакансий (несколько площадок), одинаковые по периодам.

Дедупликация и сегментация. Удаляем дубликаты (шинглы/порог похожести); ограничиваем вклад одного работодателя, чтобы шаблонные тексты не доминировали. Выделяем раздел «Обязанности» по маркерам/структуре (при необходимости — обучаем простой классификатор секций).

Нормализация лексики. Лемматизация; тезаурус синонимов и аббревиатур; унификация рус/англ заимствований и транслитераций; выделение устойчивых коллокаций (PMI/likelihood ratio). Общеязыковые HR‑шаблоны и «условия работы» удаляем как шум.

Метрики. Для каждого термина считаем DF, TF (на 10 000 токенов), специфичность (лог-odds к фону), устойчивость коллокаций (PMI/LR). Устойчивость показателей проверяем бутстрапом.

Определение ядра. Комбинируем пороги по DF и TF с фильтром специфичности (лог-odds к фону), адаптируя пороги к «плотности» описаний. Альтернатива — порог по «локтю» ранговой кривой DF (Kneedle). Устойчивость ядра проверяем бутстрапом.

Определение фронтира. «Восходящие» — термины с положительным приростом лог-odds и достаточным DF; «новички» (emerging) — заметная представленность сейчас при минимальной или нулевой в прошлом; «затухающие» — обратные признаки. Стратифицируем по городам и по уровням квалификации/разрядам.

4. Данные и подготовка

География: Россия. По каждому кварталу формируем общероссийский корпус и городские подкорпуса (все административные центры страны).
Источники: консолидированные базы (несколько площадок); фиксируем перечень источников для воспроизводимости.
Дедупликация: удаляем копии по шинглам/похожести; ограничиваем вклад одного работодателя.
Сегментация: извлекаем раздел «Обязанности» по маркерам; при необходимости используем классификатор.
Чистка: удаляем «Условия», «О компании», контакты, адреса, зарплатные блоки, рекламные шаблоны.
Нормализация: лемматизация; тезаурус синонимов/аббревиатур; выделение коллокаций; унификация вариантов написания.
Стратификация: по городам и по уровням квалификации/разрядам/требуемому опыту.

5. Математическая часть: метрики, пороги, допуски

5.1. Базовые определения

DF: доля вакансий корпуса, где термин встречается (в %).
TF: число употреблений термина / общий объём токенов; нормируем на 10 000 токенов.
Специфичность (лог-odds): сравниваем долю термина в целевом корпусе (период/город) с долей в фоне (все профессии/страна). Используем информативное Дирихле-сглаживание (α=5 на термин; допуск α=3–10) для устойчивости.
Коллокации: PMI ≥ 3.0 или LR с p<0.01 при минимальной DF фразы ≥ 8–10% — фраза считается устойчивой единицей.
Устойчивость: бутстрап (B=500 прогонов) для доверительных интервалов DF/TF/лог-odds.

5.2. Ядро (стабильная голова распределения)

Комбинированный критерий ядра задаётся порогами по DF, TF и специфичности, адаптируемыми к «плотности» описаний:

Короткие описания: DF ≥ 60–65%, TF ≥ 12–15 на 10 000; специфичность — верхние 30% по лог-odds к фону.
Средние описания: DF ≥ 50–55%, TF ≥ 18–25 на 10 000; специфичность — верхние 30%.
Длинные/разнородные: DF ≥ 40–45%, TF ≥ 22–30 на 10 000; специфичность — верхние 35%.

Альтернативно применяем порог «локтя» на ранговой кривой DF (алгоритм Kneedle). Устойчивость ядра подтверждаем бутстрапом: термин считается частью ядра, если ≥90% прогонов превышают пороги.

5.3. Фронтир (тренды)

Восходящие (risers): положительный прирост лог-odds между текущим и прошлым периодами; p<0.05; DF текущего периода ≥ 10–20%.
Новички (emerging): DF текущего периода ≥ 12–18% при DF прошлого ≤ 2–4%; TF ≥ 8–12 на 10 000; абсолютный минимум употреблений ≥ 10–20.
Затухающие (decliners): отрицательный прирост лог-odds; падение DF минимум на 8–12 п.п.; снижение TF ≥ 25% относительно медианы за предыдущие 4 квартала.

Сводные индикаторы: коэффициент Жаккара для ядер (стабильность), word‑shift/вклад терминов в изменение общей частоты, кластеризация фронтира (UMAP+HDBSCAN; косинусная близость) для тематического чтения трендов.

5.4. Сопоставимость и допуски

Сезонность: сравнения «год к году» (тот же квартал) и «скользящее» окно (4 квартала).
Балансировка объёмов: при дисбалансе > 1.5× используем даунсемплинг/взвешивание (вес документа ~ 1/количеству вакансий работодателя).
Дедупликация: порог похожести шинглов ≥ 0.85 — удаляем дубликаты/копипасты.
Города: термины с DF города ≥ 10% и значимым лог-odds отклонением (p<0.05) считаем регионально специфичными.
Уровни/разряды/опыт: отдельные корпуса или метки в модели; требуем минимальный DF ≥ 8–10% для надёжности оценок.

6. Результаты и формат представления

Итогом является многоуровневая карта трендов:

Общероссийский уровень: список ядер по кварталам, сводное «среднее ядро»; топ «восходящих», «новичков», «затухающих» обязанностей; динамика DF/TF.
Городской уровень: фронтиры по городам и их отклонения от общероссийского (лог-odds город vs страна).
Уровни квалификации/разряды/опыт: различия фронтира между уровнями; ранние признаки, появляющиеся у старших уровней и затем переходящие в базовые.

Рекомендуемые визуализации: временные ряды DF/TF для фронтира, карты кластеров тем, «лепестки» городских отклонений, динамика коэффициента Жаккара для ядер.

7. Гипотезы и типологии трендов

Растущий тренд: термин устойчиво увеличивает DF и TF, расширяет географию и уровни, со временем переходит из фронтира в ядро.
Затухающий тренд: DF/TF падают; термин уходит из фронтира и закрепляется в «хвосте» распределения.
Новые обязанности («вопросительные»): emerging‑термины с умеренным DF и высокой скоростью роста; кандидаты на будущий стандарт.

8. Ограничения и контроль качества

Смешение состава вакансий: изменяется доля регионов/уровней/работодателей. Смягчаем стратификацией и балансировкой.
Шаблоны/копипаст: сетевые тексты надувают частоты. Противодействуем дедупликацией и ограничением веса работодателя.
Синонимы и вариативность: без тезауруса тренд распадается на варианты. Решение — канонизация терминов.
Сегментация разделов: смешение «обязанностей» с «условиями/требованиями» создаёт шум. Решение — явная сегментация или классификатор.
Редкие, но важные термины: могут не попасть в ядро; поэтому фронтир анализируем мягче с порогами и подтверждаем бутстрапом.

9. Выводы

Предложенная методика позволяет системно выявлять скрытые тренды по обязанностям до их закрепления в «ядре». Сильные стороны — работа с фронтиром, адаптивные пороги, проверки устойчивости, стратификация по городам и уровням квалификации. Практическая ценность — своевременная модернизация образовательных программ, обоснование HR‑стратегий и навигация соискателей в меняющемся рынке труда. При аккуратной нормализации и контроле сопоставимости корпусов метод чувствителен к ранним изменениям и воспроизводим во времени.

10. Список литературы*

* предложен исключительно Chat’ом по математическим терминам; не проверялся, поэтому опущен