Time to burn prend ses origine avec deux anciens membres de Waxx, groupe de Clermont-Ferrand. Monté sur Paris, Julien et Eddie esquisse un projet commun, qui se transforme avec l'arrivé d'un bassiste et d'un deuxième guitariste, Time to burn prend forme et donne naissance à Heliotropisme, première démo du groupe en 2003. Le groupe change de line-up, un jeu de chaise musicale ou le guitariste prend la basse et cède son poste à Seb, nouvel arrivant.
Citant des influences tel que Shovel, Refused, Neurosis, Botch ou Cult of Luna, le groupe délivre une énergie hardcore, un peu émo, un peu rock'n'roll qu'ils revendiquent de post-hardcore.
Le groupe sort sa deuxième démo en 2004 avec Burn the lie down.