Ейвъри е познат на широката публика с участието си в сериала „Принцът от Бел еър“. Той се снима в ролята на чичо Фил в 141 епизода от сериала, лансирал филмовата кариера на Уил Смит.
Джеймс Ейвъри участва също в сериалите „Анатомията на Грей“, „Далас“, озвучава Шрьодер в анимационния сериал „Костенурките нинджа – тийнейджърите мутанти“.
До септември 2013г. Ейвъри се снима във филма на Зак Браф „Wish I Was Here“, чиято премиера ще бъде на фестивала Сънданс този месец.
