Depuis toujours appelé chien de vaches dans les Ardennes belges, sélectionné pour ses aptitudes, il doit son nom à la pratique de la garde et de la conduite des bovins et à la région de ses fonctions, plutôt qu’à son physique. Le climat rude, le labeur pénible et spécifique, le relief accidenté et la pauvreté de la région ont façonné le type. Seuls les plus rustiques et les plus performants d’une production volontairement limitée restèrent en vie pour conduire les troupeaux, le plus souvent de vaches laitières et de moutons, mais aussi, au siècle dernier, de porcs et de chevaux. Utilisé dès le 19ème siècle pour la traque au cerf et au sanglier, il devient durant les deux guerres mondiales le chien du braconnier. A la fin du 19ème siècle, le chien de bouvier ressemble à un berger à poil dur mais en plus fort, plus costaud et plus mordant. Dans les expositions belges, des classes sont ouvertes aux chiens de bouvier à titre d’enquête, en vue d’établir des traits de ressemblance.
C’est le 27 avril 1903, à l’exposition de Liège que le Professeur Reul découvre « Tom », premier chien au type idéal de chien de bouvier (sans plus de précision à l’époque). En 1913 est fondée la « Société liégeoise pour l’amélioration du chien de bouvier de la province de Liège et des Ardennes », qui rédige un projet de standard. Le texte définitif sera adopté par la Belgique en 1923 et publié par la F.C.I. le 16 juin 1963. La disparition de nombreuses fermes ardennaises, cumulée à la raréfaction des troupeaux laitiers, réduit considérablement le nombre de chiens utilisés.
Vers 1985, c’est la collecte de colostrum dans les troupeaux laitiers qui amène les cynophiles à découvrir quelques rescapés, plus ou moins typiques, de bouviers des Ardennes. Vers 1990, des éleveurs s’attachent à produire des chiens répondant mieux au type tel que décrit dans le standard, en partant de ces lignées des Ardennes. Paradoxalement, c’est dans le nord du pays que quelques bouviers et bergers émerveillés par les performances de ces chiens à la conduite des troupeaux, ont élevé, dans la discrétion mais avec soin et compétence, à partir d’une souche transplantée vers 1930. Ce n’est qu’en 1996 que cette souche a été découverte par la Cynophilie officielle.