Программа связи токенизаторов моделей HuggingFace
| РОССИЙСКАЯ ФЕДЕРАЦИЯ ФЕДЕРАЛЬНАЯ СЛУЖБА ПО ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ |
| ||
(12) ГОСУДАРСТВЕННАЯ РЕГИСТРАЦИЯ ПРОГРАММЫ ДЛЯ ЭВМ
Номер регистрации (свидетельства): Дата регистрации: 18.07.2025 Номер и дата поступления заявки: Дата публикации и номер бюллетеня: 18.07.2025 Бюл. № 7 Контактные реквизиты: | Автор: Правообладатель: |
Название программы для ЭВМ:
Программа связи токенизаторов моделей HuggingFace
Реферат:
Программа предназначена для дифференцируемого связывания двух трансформерных моделей с различными токенизаторами и словарями, включая модели библиотеки HuggingFace. Программа извлекает список токенов первой модели, преобразует их в текст и получает соответствующие эмбеддинги с помощью второй модели. Одновременно извлекается матрица эмбеддингов второй модели. Путём вычисления косинусного сходства между эмбеддингами формируется матрица перехода между словарями. Это позволяет преобразовывать логиты первой модели в эмбеддинговое пространство второй модели с сохранением дифференцируемости. Использование эйнштейновой свёртки обеспечивает обратное распространение ошибки, устраняя необходимость недифференцируемых операций. Программа применима в мультиагентных и мультимодальных системах совместного обучения. Тип ЭВМ: IBM PC-совмест. ПК. ОС: Windows, Linux.
Язык программирования: Python
Объем программы для ЭВМ: 216000 Б
- Артикул:
- sku8000
