"Fils d'un cultivateur et frère d'Urbain Olivier, il étudie au lycée de Nyon puis la théologie à l'Académie de Lausanne. En parallèle, il est précepteur à Lausanne dans une famille qui le loge et le nourrit. De plus, il donne des leçons particulières qui lui permettent de payer ses études. Bellettrien en 1823, puis Zofingien en 1824, il devient président de Zofingue pendant un an. Son précoce talent poétique (il remporte des concours de poésie organisés par l'Académie en 1825 et 1828 pour ses poèmes sur Markos Botzaris et Julia Alpinula) lui vaut d'être reçu membre du Cercle littéraire. Sa vocation s'affirme ; il continue ses études de théologie mais ne songe plus beaucoup à exercer un ministère.

Encouragé par Charles Monnard, Olivier se présente au poste de professeur de littérature et d'histoire au Gymnase de Neuchâtel. Il y est nommé le 1er mars 1830, à condition qu'il complète à Paris sa formation pédagogique. Il part donc à Paris du 17 avril au 6 août 1830 et suit des cours, notamment au Collège de France. Il fait la connaissance de Victor Hugo, d'Alfred de Vigny, de Lamartine et d'Alfred de Musset. Il se lie en outre avec Sainte-Beuve, qu'il attirera à Lausanne.

La révolution de juillet 1830 lui fait rejoindre la Suisse. Il épouse à Noville le 28 octobre Caroline Ruchet, rencontrée en 1825. Le 7 novembre, il commence ses cours à Neuchâtel. Après 3 ans, les luttes entre républicains et royalistes fidèles à la Prusse le poussent à retourner à Lausanne où il devient, à titre provisoire, professeur d'histoire à l'Académie. Le 25 mars, il reçoit de Neuchâtel le congé qu'il avait demandé. En 1835, Olivier et son épouse publient Les deux voix, un recueil de poèmes. Juste Olivier publie deux ans plus tard le premier volume de son ouvrage Le canton de Vaud, sa Vie, son Histoire, dont le deuxième volume sortira en 1841. En 1839, il devient professeur ordinaire d'histoire. Dès 1842, il collabore à la Revue suisse, publication littéraire dont il est, avec sa femme, à la fois propriétaire, rédacteur, directeur et administrateur. Il écrit de plus dans la Revue des Deux Mondes. En 1843, il donne en outre des cours à l'École Vinet.

La révolution de 1845 interrompt sa carrière professorale et littéraire en Suisse romande : le Gouvernement vaudois est renversé. Comme plusieurs autres professeurs, il sent la crise frapper l'Académie et donne sa démission pour mars 1846. Il retourne alors à Paris avec sa femme après avoir vendu la Revue suisse à un imprimeur neuchâtelois. Ils y tiennent une pension d'étudiants. Juste Olivier se charge de la rédaction d'une publication religieuse et donne des cours de littérature à des jeunes filles. Maître temporaire de conférence à l'École d'administration du Collège de France, il est pendant quelque temps lecteur de littérature dans des cours du soir destinés à des ouvriers. De plus, il donne des cours particuliers et travaille chez Marc Ducloux, ancien imprimeur de Lausanne qui s'est également réfugié à Paris après la Révolution de 1845.

Son fils Arnold meurt en 1852, à l'âge de 12 ans.

Dès 1858, Olivier enseigne à l'École de la Chaussée-d'Antin, un établissement de jeunes filles protestantes. Il envoie une chronique parisienne à la Revue suisse et collabore un certain temps au Journal de Genève. Il retourne souvent en Suisse. Sa maison parisienne devient le rendez-vous d'une élite littéraire et artistique. Il reçoit Sainte-Beuve, Charles Gleyre, Jean-Jacques Porchat, Aimé Steinlen, Eugène Rambert, Adam Mickiewicz et son beau-frère Louis Ruchet, qui s'est aussi réfugié à Paris.

En 1870, alors qu'il est en vacances dans le chalet de son fils Edouard à Gryon, la guerre franco-prussienne éclate. Elle le contraindra à rester en Suisse jusqu'à la fin de sa vie. Installé à Gryon, il donne des conférences sur la littérature contemporaine à Genève, Lausanne, Neuchâtel et Morges. Il se rend alors compte que son romantisme plaît peu en Suisse et que son œuvre est peu connue dans son pays.

En automne 1875, affaibli par la maladie, il est transporté à Genève chez sa fille, Thérèse Bertrand-Olivier, où il meurt le 7 janvier 1876. Il est enterré le 10 janvier à Nyon, en présence de quelques personnes seulement. Charles Secrétan, son ami et disciple, lui adresse un dernier hommage au nom de l'Académie de Lausanne et du canton.

On lui érige à Lausanne le 2 juillet 1910 un monument, œuvre de Raphaël Lugeon. Placé dans un premier temps dans la promenade de Derrière-Bourg, il sera transféré plus tard au pied de la colline de Montriond."

Texte tiré de Wikipédia.