James Wheeler se mudó en 1956 para reunirse con su hermano mayor Golden Wheeler en Chicago. Golden había empezado a tocar la armónica en los clubes, había llegado a Chicago en la década anterior y quedó atrapado en los sonidos de la ciudad. Estaba fascinado con el sonido de la armónica y se convirtió en amigo de muchos músicos de blues, incluyendo Little Walter. Fue después de la mudanza a Chicago cuando James Wheeler cogió la guitarra y comenzó a tocar con músicos locales.
La primera gran oportunidad le llegó a James Wheeler cuando él tocaba la guitarra con Billy Boy Arnold, conduciendo a la formación The Jaguars en 1963. Wheeler termino separándose The Jaguars en 1972, y formo su propia banda que duró tres años.
Después de una breve gira con The Impressions, Wheeler tuvo un día de trabajo no musical, recogiendo conciertos de fin de semana aquí y allá para la próxima década. En 1986, Wheeler recibió una llamada de Otis Rush pidiéndole que tocara un concierto de fin de semana que se volvió a tiempo completo y que duró hasta 1993.
Después de grabar y girar períodos con Mississippi Heat, Magic Slim y Willie Kent, lanzó su tan esperado disco en solitario, Ready, en 1998, con Delmark Records. Con diez canciones originales más tres portadas, la banda contó con el hermano de Golden Wheeler en la armónica, y el pianista Ken Saydak. Después de un agitado calendario de la gira por Europa y América del Sur, Wheeler lanzo su segundo lanzamiento, Can't Take It en 2000, de nuevo con la etiqueta Delmark.
