Два исследователя из PeopleTec, технологической компании, расположенной в Алабаме, разработали вычислительную модель, которая может создавать сложные рецепты, содержащие ингредиенты, имеющиеся у пользователя, после анализа изображений того, что находится в его холодильнике.
Их подход, представленный в статье, предварительно опубликованной на сайте arXiv, основан на моделях, которые могут идентифицировать объекты на изображениях, и GPT-4, известной большой языковой модели (LLM), разработанной OpenAI, сообщает Tech Xplore.
Сочетание большой языковой модели и детектора изображений может преобразовать любой список ингредиентов в полный рецепт с инструкциями и размерами порций.
Чтобы добиться генерации рецептов из изображений, исследователи специально использовали интерфейсы прикладного программирования (API) моделей для анализа изображений, а также генератор текста, лежащий в основе ChatGPT.
Исследователи оценили свой вычислительный подход в серии тестов, предоставив ИИ более 2000 изображений открытых холодильников с различными ингредиентами внутри.
Используя эти изображения, их модель создала 100-страничный сборник рецептов, содержащий интересные и уникальные рецепты с использованием 30 лучших ингредиентов, изображенных на входных изображениях.
