Почему даже самые продвинутые нейросети продолжают делать глупые ошибки? Автомобили от Tesla или Waymo, казалось бы, на пике технологий, но всё еще могут проскочить на красный или бесцельно сигналить другим машинам. Почему так происходит?
Ответ прост: большинство современных ИИ работает исключительно в тех рамках, в которых его обучали. Столкнувшись с нестандартной ситуацией, нейросеть часто теряется — не потому что "глупая", а потому что не готова к неожиданностям.
Чтобы справляться с нестандартными задачами, ученые разрабатывают методы обучения с подкреплением на основе контекста (In-Context Reinforcement Learning, или In-Context RL). Это свежий подход, при котором ИИ не нужно обучать с нуля — он учится в процессе, подстраиваясь под среду и сигналы.
Такой ИИ может быть особенно полезен:
Главное преимущество — быстрая адаптация без длительных тренировок.
Вот тут и кроется загвоздка. Чтобы развивать такой ИИ, ему нужны сложные и реалистичные виртуальные миры. Но:
В T-Bank AI Research решили исправить ситуацию и создали собственную открытую виртуальную среду — XLand-MiniGrid. Она уже стала важным инструментом в международных исследованиях.
"Мы пришли в область контекстного обучения с подкреплением, когда она еще зарождалась, поэтому не нашли ни одного подходящего инструмента для оценки новых идей… Поэтому появился XLand-MiniGrid", — объясняет Вячеслав Синий из AI Alignment.
Благодаря этому исследователи получают гибкий и мощный инструмент — без необходимости каждый раз собирать данные с нуля. Всё это ускоряет прогресс в обучении ИИ и делает исследования эффективнее.
Иску́сственный интелле́кт (англ. artificial intelligence; AI) в самом широком смысле — это интеллект, демонстрируемый машинами, в частности компьютерными системами.