Capricorns est londonien et reste discret. Signé chez Rise Above Records (sHEAVY, Orange Goblin, Cathedral, Sunn O))), Electric Wizard), le groupe se forme en 2003, avec notamment Nathan Bennett et Kevin Williams aux guitares, et surtout Dean Berry (ayant joué dans Iron Monkey) et Chris Turner (Orange Goblin), deux personnages que l'on retrouve dans la scène sludge-core/stoner britannique.
Le groupe sort un premier EP en 2004, suivi l'année suivante par l'obscur Ruder form survive, album enregistré dans les locaux d'une statio radio berlinoise par le producteur Mark Billher.