Выдающийся трубач эпохи свинга, руководитель биг-бэнда. Современники высоко оценивали его мастерство — сильный звук в верхнем регистре, филигранную технику и красивое вибрато в сентиментальных балладах.Воспитывался в семье цирковых артистов, в 14 лет стал победителем конкурса молодых талантов, играл в танцевальных оркестрах, в 1935 работал в оркестре Бена Поллака, а в 1936 его ангажировал Бенни Гудмен, в бэнде которого трубач прославился на всю страну. В 1939 Гудмен помог ему создать собственный оркестр, в котором в разное время играли Бадди Рич, Луи Беллсон, Хуан Тизол, Уилли Смит, Сонни Пэйн, пел Фрэнк Синатра. Наивысшей популярности добился в 1940–41, записав "Полет шмеля" Римского-Корсакова, несколько собственных композиций (Trumpet Blues, Trumpet Rhapsody, Two O’Clock Jump) и инструментальную версию песни You Made Me Love You (хит Джуди Гарланд, прозвучавший в кинофильме "Мелодия Бродвея 1938 года"). В 1946 распустил оркестр и в дальнейшем собирал бэнды только для гастролей и грамзаписи. Составы 50–70-х годов оказались более джазовыми, поскольку аранжировщиками были приглашены Нил Хефти и Эрни Уилкинс, ориентировавшиеся на стиль Каунта Бэйси.
В 1950 Джеймс записал звуковую дорожку к фильму "Человек с трубой" (The Man With A Horn — экранизированная биография Бикса Байдербека), в том же десятилетии снялся в нескольких кинофильмах (в том числе в "Истории Бенни Гудмена", 1956).