Formé au CSK Bamako, le club de sa ville natale, Mahamadou "Djila" Diarra se voit offrir une période d'essai à l'OFI Crete FC au début de la saison 1998/99. Après un an en Crète, Mahamadou dispute le Mondial des moins de 20 ans où il permet au Mali de s'offrir la troisième place. Dans la foulée, il est repéré par le club néerlandais du Vitesse Harnem. Sous la houlette de son entraîneur, Ronald Koeman, le Malien s'aguerrit et travaille sa technique pour répondre aux critères du football européen. Un travail qui s'avérera payant. Après trois saisons, Diarra compile 9 buts et s'impose comme l'un des meilleurs milieu du championnat des Pays-Bas. En 2002, il mène le Mali en demi-finale de la CAN disputée à domicile et se distingue comme le meilleur espoir du tournoi. Les recruteurs de l'Olympique Lyonnais ne s'y trompent pas et Diarra débarque en Rhône pour la modique somme de 3,8 millions d'euros. L'OL ne tarde pas à rentrer dans ses frais, l'imposant malien (1,83 m, 76 kg) se fondant à merveille dans le collectif du récent champion de France qui signe avec lui le doublé. En 2003-04, le Ghanéen Michael Essien rejoint lui aussi les Gones et va former avec Diarra une des paires de récupérateurs les plus prometteuses d'Europe. Le trio qu'ils forment à l'entre-jeu avec le métronome brésilien Juninho est la clé de voûte de la domination lyonnaise sur le championnat de France. Même si le club continue à buter sur la Ligue des champions. Lors de la campagne 2005-06, l'OL manque de peu la qualification pour les demi-finales face au Milan AC mais Diarra se fait remarquer pour ses prestations et son but inscrit à San Siro. Après quatre championnats remportés en quatre saisons passées à l'OL, Djila rend publique ses velléités de départ alors que le Real Madrid fait part de son intérêt pour le milieu de terrain. Lyon finit par céder son milieu défensif au club espagnol pour 26 millions d'euros. "C'est notre transfert numéro un", se félicite Fabio Capello, le nouvel entraîneur madrilène qui incorpore directement le Malien dans son onze de départ.Bien que la saison 2006-07 ne soit pas à la hauteur des espérances du Real, Mahamadou Diarra est l'un des moteurs de l'équipes. Il dispute pratiquement tous les matches de championnat (33 en total) et marque même le but libérateur lors de l'ultime match de championnat qui va donner le titre de Champion d'Espagne aux Merengues.