C'est en 2004, que Junius fait ses premiers pas en écrivant des morceaux qui se réclament alors autant de Bedhead ou M83 que de Philip Glass. Après un an de travail, le groupe sort en 2005 son premier EP, Forcing out the silence, bientôt suivi quelques mois plus tard de l'album Blood is bright (Radar Recordings, 2006). Plus de 200 concerts au compteur lors de ses deux premières années d'existence, Junius s'investit pleinement dans sa musique et enregistre alors ses disques avec Will Benoit (de Constants) et les fait masteriser par Nick Zampiello (Converge, Isis, Torche). Le retour critique est éloquent, la presse est à genou et permet au groupe de tourner encore plus et notamment de traverser l'Atlantique pour jouer sur le vieu continent. En 2009, les Américains sortent leur deuxième album via The Mylene Sheath/Make My Day Records (Caspian, Constants, Gifts from Enola...).