Formé au Racing Club de France, Karim Ziani rejoint le centre de formation de Troyes en 1998. Trois ans plus tard, il signe son premier contrat pro, avant de faire ses débuts en décembre.Sous les ordres d'Alain Perrin, l'Algérien progresse vite récoltant sa première sélection en équipe d'Algérie en février 2003. Le club aubois redescend en Ligue 2 en fin de saison, et suite au départ de Perrin, Ziani perd peu à peu sa place. Contacté par le club italien de Sienne, il préfère rejoindre Lorient en prêt à l'aube de l'exercice 2004/2005.En Bretagne, le boss Christian Gourcuff en fait son patron technique. Ziani, porté par cette confiance, éclate enfin. Ses qualités balle au pied alliées à sa vision du jeu font des merveilles.2005/2006 est de la même veine. Lorient gagne son ticket pour la montée dans le sillage d'un Ziani de feu. Couronné meilleur joueur de Ligue 2, il fait face à de nombreuses sollicitations de clubs de Ligue 1.Mais plus que St Etienne ou Marseille, Ziani choisit de signer à Sochaux, club que son ancien mentor Alain Perrin vient de rejoindre. Bonne pioche ! Ziani éclabousse les pelouses de l'élite de sa classe, cumulant à mi-championnat un total de 7 buts en 21 matchs. Son année se termine en apothéose avec l'obtention du Ballon d'Or Algérien. Une deuxième distinction personnelle qui en appelle sûrement d'autres pour ce joueur qui sait mettre son talent au service du collectif.Outre les récompenses personnelles, Ziani glane avec Sochaux la Coupe de France, au terme d'une finale pleine de suspens face à l'OM. L'OM qu'il rejoindra quelques semaines après, pour un transfert estimé à 8 millions d'euros. C'est la consécration du talent de l'Algérien. Sauf que rien ne se passe comme prévu. Recrue phare du mercato olympien, Ziani, comme toute l'équipe, ne se montre pas au niveau espéré en début de saison et Marseille effectue un parcours calamiteux qui pousse Albert Emon vers la sortie.  Le changement d'entraîneur ne va pas profiter à Karim Ziani. Eric Gerets, l'intransigeant coach belge, prend les rênes de l'équipe et installe au poste de l'ancien Sochalien le jeune Mathieu Valbuena, qui se révèle au grand jour. L'Algérien est désormais cantonné à un rôle de remplaçant et ses rares apparitions sont décevantes. Sa saison est marqué par une vive altercation avec son entraîneur à la mi-temps du huitième de finale de la Coupe de France, qui le remplace aussitôt.