Fondée entre le 13e et le 14e siècles, des embellissements ont été ajoutés aux 15e et 16e siècle. L’architecture mêle le style roman, le style gothique et des éléments Renaissance. L’église est consacrée à Saint-Jacques et est une étape du pèlerinage jusqu’à Compostelle. Cet aspect est matérialisé par la sculpture de Saint-Jacques, réalisée en 1899 par Eugène Bénet. On peut y voir les attributs du pèlerin de Compostelle, avec le chapeau à large bord orné d’une coquille, le bourdon long bâton de marcheur et la bourse destinée à recevoir l’aumône. Au 16e siècle, les armateurs comme Jehan Ango et les différentes Confréries contribuent à son embellissement avec la construction de chapelles latérales honorant leurs saints patrons respectifs. Les marins ont gravé des graffitis sur les murs de l’église toujours visibles sur le mur de la sacristie. L’un des vestiges des explorations dieppoises est la frise du mur de la sacristie dite « des Sauvages ». Cette frise, commandée par Jehan Ango, commémore les expéditions maritimes en Asie, Afrique et Amérique. Ce bas-relief de 1530 représente les peuples autochtones rencontrés par les navigateurs, et célébrant vraisemblablement un rituel, puisqu’ils semblent danser dans un paysage végétal, entourés d’animaux. Aujourd’hui, Jehan Ango repose dans sa chapelle dans le chœur de l’église Saint-Jacques. Elle est richement décorée de motifs italiens, sculptée d’arabesques, de médaillons. Les pilastres et les entablements sont ornés d’animaux fabuleux. Il y est enterré en 1551.
