Le parc national Jasper est une région de monts escarpés et de larges vallées. De nombreux sommets s'élèvent à plus de 3 000 mètres d'altitude. Le mont Columbia est la plus haute montagne de l'Alberta, à 3 782 mètres d'altitude. Le point le plus bas, à 985 mètres au-dessus du niveau de la mer, se trouve à proximité de l'entrée est du parc.

Les montagnes du parc national Jasper sont disposées parallèlement du nord-ouest au sud-est. La chaîne qui se trouve le plus à l'ouest contient les sommets les plus hauts. Elle chevauche aussi la ligne continentale de partage des eaux qui délimite les cours d'eau se jetant dans l'océan Arctique ou la baie d'Hudson, vers l'est et le nord, de ceux qui s'écoulent vers l'ouest, en direction de l'océan Pacifique.

À certains endroits, des cols de montagne ou défilés créent des plissements qui assurent la circulation de l'eau d'un bassin hydrographique à l'autre. Les rivières se sont également faufilées à travers les terrains accidentés et escarpés.

Pour bien comprendre la géologie des montagnes Rocheuses, il suffit de répartir la région en chaînes. Les chaînes principales sont celles qui contiennent les sommets les plus élevés (y compris le mont Robson ainsi que l'ensemble de montagnes imposantes entourant le champ de glace Columbia). Ces chaînes chevauchent également la ligne continentale de partage des eaux, qui sépare les versants est et ouest de l'Amérique du Nord. Les chaînes principales, dont une partie se trouve dans le parc national Jasper, sont formées de grès, de calcaire, de schiste argileux et d'une roche métamorphique appelée quartzite (particulièrement le quartzite du groupe de Gog), généralement grossiers.

Les chaînes frontales des montagnes Rocheuses se trouvent à l'est des chaînes principales. En raison de la présence de la mer et de la dénivellation peu profonde du terrain, les plantes et les animaux y ont foisonné. La matière organique ainsi produite a engendré de la boue carbonatée qui s'est épaissie, puis durcie de manière à former une énorme quantité de calcaire. La couleur gris pâle des chaînes frontales (à cause du calcaire) contraste avec la couleur rougeâtre et brunâtre des chaînes principales. Le chaînon Colin et la Roche Miette sont des exemples typiques de pics des chaînes frontales du parc national Jasper. Plus à l'est, à l'extérieur des limites du parc, s'étendent les avant-monts, buttes d'une légère élévation qui séparent les montages des plaines, région de faible altitude et de peu de relief.

Les chaînes de l'ouest ne se trouvent pas dans le parc national Jasper, mais plus au sud, dans les parcs nationaux Kootenay et Yoho.

La rivière Athabasca et ses affluents drainent plus des quatre cinquièmes du parc. La rivière, qui coule vers le nord et l'est, à partir du front du champ de glace Columbia, parcourt près de 150 kilomètres dans le parc. Dix autres rivières de moyenne envergure et d'innombrables petits ruisseaux en augmentent le volume. La rivière Athabasca est l'une des principales rivières qui coule depuis la barrière formée par les montagnes jusqu'à l'océan Arctique. Le tronçon de la rivière qui se trouve dans le parc national Jasper fait partie du réseau des rivières du patrimoine canadien.

À l'extrémité nord du parc national Jasper, un autre bassin hydrographique recouvre partiellement la région. La rivière Smoky, dont la source se trouve à l'extrémité nord-est du parc, coule vers le nord en direction de la rivière de la Paix, dans le nord de l'Alberta.

L'eau en provenance du coin sud-ouest du parc se déverse par l'intermédiaire des rivières Southesk et Brazeau, qui rejoignent la rivière Saskatchewan Nord à la sortie des montagnes. Ces cours d'eau recueillent les eaux de ruissellement s'écoulant de la région, qui occupe une superficie de plus de 10 000 km2. Le débit de pointe commence vers la fin de juin, au moment où la fonte des neiges et la pluie remplissent à ras bord les lits des rivières. En raison de la fonte des glaciers, le niveau de l'eau est élevé jusqu'en juillet. Vers le milieu de l'été, les rivières fournissent une grande partie de l'approvisionnement en eau dont les citoyens et les agriculteurs en aval ont besoin.