La ligne de chemin de ferfaisait partie d’un projet initial destiné à relier Castelnaudary à Rodez pour exporter le charbon du bassin minier de Carmaux.
Dès 1860, le tracé du futur itinéraire entre Castres et Albi fut établi. La compagnie des chemins de fers dut entreprendre des travaux d’élargissement des ouvrages d’art en vue du doublement de la voie ainsi que l’allongement des ponts empruntés par des routes et chemins.
Face à la concurrence accrue de la voiture particulière et des transports routiers, la ligne fut progressivement fermée en deux temps : en 1940 pour les voyageurs et en 1987 pour les marchandises. La voie ferrée fut définitivement fermée en 1987, transformée en sentier de randonnée ou voie verte et rebaptisée « Chemin des droits de l’Homme » dans les années 2000.
