Après un premier concert fin 1995 marquant la naissance "officielle" du groupe, les We insist ! tournent autant qu'ils le peuvent pendant trois années avant d'enregistrer un EP éponyme en 1998 (faisant référence au manifeste de Max Roach : Freedom now suite) puis un album autoproduit (I Witness !) prolongement de l'EP, l'année suivante. France Culture utilise le titre "La Valseuse" comme générique de l'émission Peinture Fraîche, et passera commande d'un nouveau morceau, "Une chinoise égarée", l'année suivante. Le groupe bénéficie d'un petit buzz critique et fait en même temps évoluer sa musique vers un rock plus brut et sans compromis. En 2002, sort l'album Inner pond puis Crude deux ans plus tard. Le groupe affine toujours plus sa griffe musicale si particulière, à situer quelque part entre At the Drive-in, Shellac, Primus, Bill Frisell, John Zorn ou les Queens of the Stone Age avant de monter son propre label Corruptible Records via lequel le sextet sort en 2007 l'album Oh ! things are so corruptible. Deux ans plus tard, les Franciliens s'expatrient en signant avec le label Allemand Exile on Mainstream Records (Beehoover, Celan, The Hidden Hand...) et publient The Babel inside was terrible.