Después del servicio en el Ejército de los EE.UU. hasta 1953, Johnson tocaba la guitarra en una banda de gospel llamada los 'Milwaukee Supreme Angels'. Sin embargo, se graduó hacia el blues y creó su propio trío en Milwaukee, Wisconsin, antes de trasladarse a Chicago a principios de 1960.
Toco con músicos como Elmore James, Howlin’ Wolf y Junior Wells, y más tarde fue uno de los fijos en la banda de Muddy Waters a mediados de la década de 1960. Al principio se hizo cargo del bajo justo cuando Jimmy Lee Morris dejaba el grupo para volver a su trabajo en la fábrica. Las aspiraciones de “Snake Boy” eran ocuparse de la guitarra, algo que conseguía cuando Sammy Lawhorn se encontraba demasiado borracho o Pee Wee Madison estaba cabreado con el grupo. Sus maneras en el escenario eran tan "excitantes" que Muddy a veces mantenía a tres guitarras a la vez.
Johnson trabajó con varios músicos durante este período, incluyendo Chicago Bob Nelson, antes de grabar su álbum debut, "Come on Home" en 1969. Tambien acompaño y colaboro en varios discos con Otis Spann, con los años emprenderia diversas giras por europa ya como solista.
En 1970, Johnson se trasladó a Boston, Massachusetts, y encontró trabajo recorriendo los circuitos de los festivales de bluese para los próximos años por ser bastante diestro y acertado con la guitarra. Black & Blue Records lanzó los discos de Johnson "Born in Georgia in" (1972), y esto fue seguido por "Chicken Shack" (1974), "Lonesome In My Bedroom" (1975), y el último álbum publicado en vida, "Get Down to the Nitty Gritty" (1976).
Ron Wynn, declaró que "Johnson tenia una voz inimitable, con una línea ronca y guitarra afilada, creaba su propia aura ademas de ser un excepcional artista de blues". Johnson murió de cáncer en Boston en marzo de 1976, a los 41 años de edad. Fue enterrado en el cementerio de Mount Hope en Mattapan, Massachusetts.
