Golden Big Wheeler nació en Baconton, Georgia. Dejó Georgia en 1941 y se estableció en Chicago, Illinois, en julio de 1954, donde se hizo amigo de Little Walter. Su entusiasmo por tocar la armónica comenzó cuando trabajaba como conductor de taxi, (hasta que consiguió dedicarse a lo que era su autentica pasión, la armónica). Uno de sus clientes habituales fue el músico de la armónica Buster Brown, quien más tarde tuvo un disco de éxito con "Fannie Mae", en 1960.
Wheeler afrontó su propia banda en 1956, a pesar de que era un músico a tiempo parcial, estuvo trabajando durante años como mecánico de automóviles para complementar sus ingresos y mantener a su familia.
En 1993 Wheeler lanzó su primer álbum, "Bone Orchard", que estaba respaldada por la banda local Ice Cream Men y lanzado por Delmark Records, el disco contó con el respaldo de dos guitarras y una batería, pero sin bajo. Los Ice Cream Men eran Johnny Burgin y Dave Waldman (guitarras) y Steve Cushing (batería), el álbum fue producido por Bob Koester.
Su siguiente álbum fue "Jump In" (1997), con el respaldo que proporciona un sonido más completo, incluyendo a su propio hermano, James Wheeler a la guitarra. Otros músicos que participaron en el álbum fueron Baldhead Pete (batería), Allen Batts (piano) y Bob Stroger (bajo), con Koester de nuevo en la producción.
Wheeler murió de insuficiencia cardíaca en Chicago, en julio de 1998, a la edad de 68 años.
