[swf]http://www.youtube.com/v/ty1rj38Pjxs&rel=1,425,355[/swf]
Butch Vig, el productor de discos tan influyentes como el Nevermind de Nirvana y Siamese Dream de Smashing Pumpkins, decidió que quería formar un grupo y pidió a sus compañeros productores Marker y Erikson que se unieran a él. Después de que el grupo viera a Shirley Manson en MTV (Shirley participó en otros proyectos como Goodbye, Mr. MacKenzie y Angelfish), le pidieron que se uniera al grupo como vocalista. Su nombre se deriva de aparentemente «sonido basura» en sus canciones. Otra anécdota relacionada con el origen del nombre es que Butch Vig contribuyó con un remix en el álbum Fixed de Nine Inch Nails que, según un rumor, Trent Reznor calificó de basura (garbage).
Sus letras, emocionales y llenas de rabia, contrastan con su pop/rock alternativo, lo que hizo al grupo particularmente popular entre jóvenes. Garbage utiliza samples, bucles electrónicos, guitarras muy «grunge», y muchos otros efectos para producir temas melódicos, distintivos por la sensual voz de la cantante escocesa Shirley Manson. El hecho de que Garbage se componga de tres productores es muy obvio, ya que en su música se denota una alta calidad de producción, con muchas capas y una estética semejante a muro de sonido (wall-of-sound) creada por Phil Spector.