Впервые сборная Йемена выступила как самостоятельная команда на Играх в 1992 году. До этого спортсмены страны выступали либо от Северного Йемена (в 1984 и 1988 годах), либо от Южного Йемена (в 1988 году). На зимних ОИ Йемен никогда не выступал. Также спортсмены ни разу не завоевывали призовые места.

Самую крупную делегацию Йемен отправлял на Игры в 1992 году в Барселону. Тогда поехали 8 спортсменов, которые представляли свою страну в дзюдо и легкой атлетике. Самое высокое место, 21-ое, удалось занять дзюдоисту Яхье Муфаррих в дисциплине среднего веса.

Самую маленькую команду Йемен направил в Сидней на Игры-2000. В тот год поехали на соревнования два спортсмена по легкой атлетике. Тогда атлет занял 64 место в дисциплине на 400 метров, а легкоатлетка в дисциплине на 200 метров заняла 50 место.