Entité hybride au line-up à géométrie variable, Kayo Dot fait bruisser la scène expérimentale nord-américaine dès 2003. A cette époque, plusieurs ex-membres de Maudlin of the Well, formation heavy-prog metal, décident de former un nouveau groupe à l'identité musicale originale. Conçu comme un patchwork de metal prog, de musique d'avant-garde et de rock expérimental, Kayo Dot sort rapidement son premier disque, Choirs of the Eye et le fait en insistant sur le caractère iconoclaste de sa musique puisque c'est via Tzadik, le label de l'inénarrable John Zorn que sort la bestiole. Par la suite, le groupe va se distinguer par l'instabilité chronique de son line-up et verra pas moins d'une douzaine de collaborateurs oeuvrer plus ou moins longtemps sur le projet. La seule constante étant depuis les débuts du groupe Toby Driver, architecte et désormais maître d'oeuvre de Kayo Dot.
En 2006, le groupe sort son deuxième disque chez un autre grand nom de la musique indépendante et expérimentale : Robotic Empire. Son titre : Dowsing anemone with copper tongue. La même année sort un split avec Bloody Panda et, malgré de nombreux remous internes, le groupe continue de composer et d'enregistrer. Entre 2007 et 2008, il peaufine son troisième album Blue lambency downward qui sort chez le poids-lourd Hydrahead Industries. Un an plus tard, Kayo Dot reste pour une fois fidèle à une structure et participe à la série des splits du label en figurant au tracklisting d'un volume des Champions of Sound avec Pelican, Zozobra et Steve Brodsky (le leader de Cave In en solo...).