Dès 1648, le gouverneur Montmagny aménage un jardin au sud-ouest du fort et du château Saint-Louis, à proximité de l'actuel hôtel Château Frontenac. Il dispose d'un jardin subdivisé en îlots, avec des allées qui se croisent. Sur les plans de la fin du XVIIe siècle, le jardin mesure 86 mètres sur 75.

Le château et les jardins Le château et les jardins vers 1700
© Bacqueville de la Potherie, Histoire de l'Amérique septentrionale (Paris, 1722):230

Dès ses débuts, selon le journal des Jésuites, le lieu est voué à la détente, bien qu'il acquiert très tôt la fonction de potager. À la fin du XVIIe siècle, des arbres viennent agrémenter le jardin et cet aménagement s'accentue au cours du siècle suivant. En 1753, la palissade qui délimite le jardin est remplacée par un mur de maçonnerie. En 1783, le haut jardin est aménagé à l'anglaise, c'est-à-dire qu'il est entièrement boisé et parcouru de sentiers sinueux. À la fin des années 1820, le monument à la mémoire de Wolfe et de Montcalm y est érigé.

Le jardin des gouverneurs Le jardin des gouverneurs, par James P. Cockburn
© Bibliothèque et Archives Canada, C-012684.

Ouvert au public en 1838, le haut jardin devient un parc urbain vers 1933.

Après la Conquête, avec l'arrivée du gouverneur Haldimand, on ajoute, en contrebas du jardin, un second jardin qui doublera la superficie de l'ensemble. Désormais, on parlera des haut et bas jardins. 

Implanté entre la falaise et la rue des Carrières, le bas jardin sert de potager et une partie est aménagée en fraiseraie. En 1856, il est transformé en jardin botanique pour l'école normale Laval. Il cesse d'exister avec la construction des terrasses.