El nombre de la banda se inspiró en un artista amigo del grupo que padecía de esquizofrenia y que usaba el término black keys para describir a "las personas que no estaban del todo bien". Un doble significado también puede interpretarse como el hecho de que las teclas negras (black keys) de un piano comprenden una escala pentatónica menor empezando en mi bemol mayor, que se asocia frecuentemente con el blues y el rock.
El grupo editó su primer álbum The Big Come Up en el 2002, seguido por Thickfreakness en 2003 y Rubber Factory en 2004. En octubre de 2005 salió a la venta su DVD en vivo, Live que fue grabado en el Metro Theatre de Sídney el 18 de marzo del mismo año. Para 2006 editaron Magic Potion y el menos conocido EP Chulahoma.
Uno de sus rasgos característicos es su preferencia por las técnicas de grabación de baja fidelidad, tales como el uso de grabadoras de cinta y efectos analógicos. La banda misma realiza la mayoría de la grabación, producción y mezcla de sus trabajos. Una gran parte del álbum Thickfreakness fue grabado en tan solo 14 horas en el sótano de Carney en una grabadora de ocho pistas Tascam 388 de los 80s. De vez en cuando experimentan con técnias de producción y grabación un tanto extrañas, como dejar ruidos de fondo.
