Описание:
Мы - команда GigaCode, разрабатываем и развиваем AI-ассистента для разработчика. Решаем задачи по различным подходам в NLP и PLP, постоянно проводим ресёрч-эксперименты и обучаем новые SOTA LLM. Из направлений сейчас: претрейн моделей с нуля и дообучение, инструктивное обучение SFT/DPO/PPO для CodeChat, поиск и RAG, ускорение инференса, генерация тестов, мультиагентность, прототипирование плагинов для сред разработки (VSCode, PyCharm, IDEA). Целимся конкурировать с Copilot. Также мы являемся авторами многих моделей для русского языка (ruBERT, ruRoBERTa, ruT5, RuGPT3, FRED-T5). Обучаем на кластере Кристофари, у нас много свободы в использовании GPU. Если у вас есть крутые идеи и большие амбиции в PLP и/или NLP направлениях, то присоединяйтесь к нам, будем делать важнейшие исследования вместе! Обязанности • дизайн экспериментов, формулировка гипотез для улучшения NLP/PLP моделей и алгоритмов, планирование исследовательских экспериментов с выводами • проведение экспериментов, написание кода, подготовка датасетов и бенчмарков, проведение замеров и анализ результатов • обучение моделей на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей • взаимодействие с прод-командой для интеграции моделей и алгоритмов в продакшн. Взаимодействуем с командой инженеров SberWorks • ориентированность на SOTA, читать пейперы, быть в курсе последних исследований, предлагать новые смелые подходы и направления. Требования • хорошие теоретические знания в DL, с упором в современный NLP и трансформеры • умение формулировать эксперименты с научной строгостью, обосновывать их, проводить самостоятельно и делать выводы • опыт обучения трансформеров • опыт распределенного обучения моделей (deepspeed, fsdp, torch.distributed, accelerate) • знание стандартных библиотек для DL и NLP (PyTorch и библиотеки Huggingface) • увлеченность NLP/PLP и DL • опыт менторинга стажеров и младших коллег. Будет плюсом: • опыт работы на похожей позиции • участие в соревнованиях по ML • сабмиты на лидербордах по NLP/PLP • публикации уровня А/A*, Q1 • обучение моделей на кластере • опыт управления командой исследователей Условия комфортный современный офис рядом с м. Кутузовская гибрид ежегодный пересмотр зарплаты и годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития расширенный ДМС, льготное страхование для семьи ипотека для сотрудников выгоднее до 4% бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера.Адрес: Город Москва
