Saint-Pastour s'étend en longueur, sur la rive droite du Lot. Le village est construit sur un terrain argileux et calcaire, au relief chaotique. Fondée par Alphonse de Poitiers entre 1250 et 1259, la bastide de Saint-Pastour couronne un "pech" étroit et allongé, dominant la campagne environnante. Les nombreux conflits qui ont menacé le pays aux XIVe et XVe siècles, ont incité la bastide à se protéger par la construction de remparts et d'édifices fortifiés. Les enceintes protectrices ont été conservées jusqu'au XIXe siècle, et la ville présente, aujourd'hui encore, les traces des remparts et de plusieurs bâtiments défensifs, comme l'ancienne porte de ville couronnée d'une statue de Jeanne d'Arc, un vieux puits, près de l'église, et une halle en bois. Elle est ceinturée d'un chemin de ronde dominé par les restes du château féodal.
