Les Celtes et les Romains y ont laissé des traces. Le « Chemin des Romains », situé au nord-ouest de Tavannes serait d’origine celtique, alors que la voie romaine qui conduisait de Petinesca (près de Bienne) à Basilea (aujourd'hui Bâle) et à Augusta Raurica (Augst), par les gorges du Taubenloch franchit le col de Pierre Pertuis pour parvenir à Tavannes.