Withers, yang mengatasi kesulitan dalam masa kecilnya, dilahirkan sebagai anak terakhir dari enam bersaudara di kota tambang batubara Slab Fork, Virginia Barat. Setelah orang tuanya bercerai ketika dia berusia tiga tahun, Withers dibesarkan oleh keluarga ibunya di Beckley di dekatnya.

Dia bergabung dengan Angkatan Laut pada usia 17 dan menghabiskan sembilan tahun dalam pelayanan sebagai montir pesawat menginstal toilet. Setelah keluar, ia pindah ke Los Angeles, bekerja di pabrik suku cadang pesawat, membeli gitar di pegadaian dan merekam demo lagu-lagunya dengan harapan mendapatkan kontrak rekaman.

Pada tahun 1971, masuk ke Sussex Records, ia mengeluarkan album pertamanya, "Just As I Am", dengan Booker T Jones yang legendaris di pucuk pimpinan. Itu memiliki hits "Tangan Nenek" dan "Ain't No Sunshine," yang terinspirasi oleh film Jack Lemmon "Days of Wine and Roses". Dia difoto di sampul, tersenyum dan memegang ember makan siangnya.

"Ain't No Sunshine" awalnya dirilis sebagai B-side dari debut single-nya, "Harlem". Tetapi radio DJ membalikkan disk dan lagu naik ke nomor tiga di tangga lagu Billboard dan menghabiskan total 16 minggu di 40 besar.

Withers melanjutkan untuk menghasilkan lebih banyak hits setahun kemudian dengan inspirasi "Lean On Me", ancaman "Who Is He (dan What Is He to You)" dan slinky "Use Me" di album keduanya, "Still Bill".

Tetapi karir Withers terganggu ketika Sussex Records bangkrut dan dia bergabung dengan Columbia Records. Dia tidak lagi memiliki kontrol penuh atas musiknya. Tak satu pun dari albumnya saat bergabung dengan Columbia mencapai Top 40 kecuali untuk "Menagerie" 1977, yang menghasilkan "Lovely Day". (Duet hit-nya dengan Grover Washington Jr "Just the Two of Us" ada di label Washington). Album terakhir Withers adalah tahun 1985 "Watching You Watching Me".