Ses longues chevauchées ont longtemps enflammé le stade Bonal. A Sochaux, où il a été formé, Jérémy Mathieu devient rapidement un membre indispensable du système mis en place par Guy Lacombe. Avec Sylvain Monsoreau ou Souleymane Diawara il forme une défense intraitable. Le côté gauche sochalien est avec lui totalement sécurisé.  Dès sa 1ère saison il dispute 23 matches dans le Doubs. Une très belle saison pour Sochaux, qui avec des joueurs comme Santos, Pedretti, Pagis, Oruma, Monsoreau ou Mathieu va terminer 4ème ex-aequo avec Bordeaux. Et disputer une finale de Coupe de la Ligue, malheureusement perdue façe à Monaco (4-1). Mais la saison suivante les Sochaliens disputent la Coupe de l'UEFA, que Jérémy Mathieu découvre pour la 1ère fois. Il n'a que 20 ans.  Puis ils vont cette fois se rattraper et remporter la Coupe de la Ligue en dominant Nantes en finale (1-1, 5 tirs au but à 4). La saison suivante sera un peu moins réussie pour Sochaux, avec une 10ème place au classement. Entre temps Jérémy Mathieu est devenu International espoirs. Mais après cette saison 2004-2005, il décide de quitter le club du Président Plessis pour des raisons personnelles. C'est alors le Président Sadran et Toulouse qui lui ouvrent les portes. Alors que Lyon le suivait aussi.  Il est suivi par un autre sochalien, Santos, qui vient s'ajouter à l'arrivée de Moreira ou Battles. Dans la ville rose, Mathieu connait une saison moyenne sur le plan personnel, malgré son grand nombre d'apparitions. Elie Baup l'apprécie toutefois beaucoup pour sa polyvalence. Il peut jouer à la fois défenseur et milieu. Sa bonne patte gauche lui permet en effet de distribuer de très bons centres.  Pour la saison 2006-2007, Jérémy Mathieu retrouve toute la confiance et son meilleur niveau sochalien. Victime d'une entorse à la cheville le 19 novembre à Auxerre, il revient dans l groupe et s'arrache avec les Violets pour prendre la 3e place du championnat, significative du tour préliminaire de la Ligue des Champions. Mais le début de saison 2007-08 ne se déroule pas comme prévu. Malgré la venue de Gignac et les performances d'johan Elmander, la défense est décimée par les blessures et Mathieu prend évidemment l'eau. Tout repose sur lui mais le Téfécé démarre sa saison en catastrophe.  Mathieu est en tout cas récompensé de ses performances. le 21 août 2007, il est appelé par raymond Domenech. Bien que Mathieu ne fasse partie que de l'équipe A', il a de quoi montrer ses atouts. En plus, il n'a que 23 ans et encore un grand chemin à parcourir.