Fils naturel de Jean d’Albret, comte de Rethel, seigneur d’Orval et du château de Montrond, gendre du comte de Nevers Jean de Clamecy – Jacques d’Albret est le premier évêque de Nevers nommé par François 1er le 13 mars 1519 selon les termes du Concordat de Bologne. Il fait son entrée solennelle dans sa ville l’année suivante. Il montre un grand intérêt pour la cathédrale qu’il embellit ; il termine la tour carrée commencée par l’évêque Jean Bohier et la dote de ses premières cloches (1528).
Il encourage la création de confréries à Château-Chinon (1523), Nevers (1525). En 1528 il participe au concile de Sens où il dénonce des « abus introduits dans la vie et le costume du clergé ». Il entreprend la réforme de l’abbaye bénédictine Notre-Dame à Nevers (1535), avec l’appui de l’abbesse, sa sœur Jeanne-Françoise d’Albret, qui rétablit une discipline relâchée. Il simplifie une organisation complexe en réduisant à deux le nombre des curés de l’église paroissiale Saint-Genès unie à l’abbaye Notre-Dame.
L’application du Concordat se pose pour la commende de l’abbaye Saint-Martin (1531); le pape ayant choisi Noël Bourgoing, désigné par le roi, l’évêque s’oppose aux chanoines réguliers, entreprend une réforme et « en donne la commission à l’abbé de Saint-Victor de Paris ». Lors de la rédaction de la Coutume promulguée par Marie d’Albret en 1534, il intervient en vain pour demander l’inscription pour l’évêque de la côte morte des curés décédés sans héritiers et le lit de ceux ayant un héritier.
Il fait imprimer plusieurs ouvrages : bréviaire (1520), missel et bréviaire (1534), processionnal nivernais (1535) « encore entre les mains de tout le monde » écrit Parmentier au XVIIIe siècle. Il meurt en 1539 ou 1540 « à Saint-Amand en Berri » et, selon Cotignon, serait inhumé dans le chœur de la cathédrale « près du pupitre de cuivre des images de saint Pierre et saint Paul, du côté droit ». Selon les auteurs, il est légitimé après sa mort ou a reçu des lettres de légitimation (ses armes du début de son épiscopat porteraient une brisure d’illégitimité).
Michel Cotignon, Catalogue et nom des évêques de Nevers, copie manuscrite, Archives du diocèse de Nevers ; - Parmentier, Histoire sommaire de nosseigneurs les évêques de Nevers, manuscrit du XVIIIe, ibid. ; Georges de Soultrait, éd. Inventaire des titres de Nevers de l’abbé Michel de Marolles, Nevers, Fay, 1873, XXII-783 p.