Au printemps 1887, son frère aîné Bronisław fut arrêté pour sa participation à la préparation d’un attentat contre le tsar Alexandre III. Il fut condamné à quinze ans de travaux forcés et à l’exil à vie en Sibérie. Józef fut arrêté pour avoir eu des contacts avec les conspirateurs et, malgré l’absence de preuves, condamné à cinq ans d’exil. À Kirensk, en Sibérie, il fut accusé de résistance armée aux autorités pénitentiaires, ce qui entraîna l’ajout de six mois supplémentaires à sa peine. En raison de sa mauvaise santé, il fut transféré plus au sud, à Tunka, à 1 000 km de Kirensk. Il y rencontra de nombreux insurgés et révolutionnaires, ce qui accéléra sa maturation politique. Il revint de Sibérie résolu à lutter en s’appuyant sur le mouvement socialiste.

À l’été 1896, le jeune Józef, âgé de 26 ans, en tant que membre du groupe socialiste polonais de Vilnius, participa au premier congrès du Parti socialiste polonais (PPS) à Vilnius. Un an plus tard, lors du deuxième congrès à Varsovie, il fut élu au Comité central ouvrier du PPS. Après être entré dans la direction du parti, il commença à en orienter l’activité. En dirigeant le journal Robotnik (« Le Travailleur »), il prônait l’égalité sociale et l’indépendance. De 1905 à 1907, il dirigea l’Organisation de combat du PPS. En 1906, il devint le chef de la Fraction révolutionnaire et, à partir de 1908, il se consacra principalement aux activités militaires.

À peu près à la même époque, à Lwów, commença son activité l’Union de la lutte active, organisée par Kazimierz Sosnkowski, l’un des plus proches collaborateurs de Piłsudski. L’Union de la lutte active était une organisation militaire indépendante et non partisane, dont le but était de préparer des cadres d’officiers pour un futur soulèvement armé contre la Russie. L’organisation se répandit dans toute la Galicie et atteignit le Royaume de Pologne. Józef Piłsudski en fut élu commandant en chef. En août 1909, le deuxième congrès de la Fraction révolutionnaire du PPS rétablit l’ancien nom du parti, Parti socialiste polonais, et désigna Piłsudski comme membre du Comité central ouvrier à trois personnes. Le congrès élut également un Conseil du parti, qui fonctionna jusqu’au déclenchement de la Première Guerre mondiale.

Les organisations militaires se multipliaient. À Lwów, en 1910, fut créée l’Association des Tireurs ; à Cracovie, Strzelec. La même année fut fondée l’Armée polonaise, transformée plus tard en unités de fusiliers polonais. En août 1912, à Zakopane, fut créée la Trésorerie militaire polonaise afin de recueillir des fonds pour la révolution nationale. La Commission provisoire des partis indépendantistes confédérés fut également constituée. Après le déclenchement de la Première Guerre mondiale, Piłsudski créa l’Organisation militaire polonaise dans le Royaume de Pologne afin de préparer un soulèvement contre la Russie.

Ce moment survint le 6 août 1914, lorsqu’un petit groupe de soldats en uniformes gris partit du quartier d’Oleandry à Cracovie en direction de la frontière de la zone occupée par la Russie. Piłsudski leur lut l’ordre du jour, dans lequel il déclara notamment :

« Je vous considère comme les cadres à partir desquels doit se former la future armée polonaise, et je vous salue en tant que Première Compagnie de Cadres… »

Sur les trois brigades des Légions, deux — la Première et la Troisième — reconnurent son autorité ; la Deuxième se trouvait sous l’influence des nationaux-démocrates. Piłsudski commandait la Première Brigade. Après des escarmouches près de Kielce, la brigade combattit le long de la rivière Nida et participa à l’offensive d’été des Puissances centrales en Volhynie. Les brigades des Légions gagnèrent le respect du commandement allemand et, afin de leur conférer un statut plus élevé, leur nom fut changé en Corps auxiliaire polonais. Piłsudski espérait recouvrer l’indépendance avec l’appui d’abord de l’Autriche-Hongrie, puis de l’Allemagne. Après des conflits avec le commandement des Légions — Władysław Sikorski et Wacław Zagórski — il quitta les Légions et devint membre du Conseil provisoire d’État ainsi que chef de son département militaire. En 1917, il rompit avec le Conseil et réorienta l’activité de l’Organisation militaire polonaise contre l’Allemagne. Il refusa de prêter serment de fidélité aux Puissances centrales (la Deuxième Brigade prêta serment) et, le 22 juillet 1917, il fut emprisonné dans la forteresse de Magdebourg.

Après son retour en Pologne en novembre 1918, il devint Chef provisoire de l’État et, en mars 1920, il fut nommé maréchal. Il œuvra à porter l’Armée polonaise à un état de pleine capacité de combat et, malgré l’évacuation des armées d’occupation, craignait la menace venant du voisin de l’Est. Sa vision reposait sur une fédération d’États à l’Est, auparavant occupés par la Russie. En février 1919 débuta une offensive polonaise en Lettonie, en Lituanie, en Biélorussie et en Volhynie. La situation était plus difficile en Ukraine, dont la partie occidentale était aux mains des Polonais et la région centrale appartenait à la République soviétique d’Ukraine. L’expédition de Kiev déclencha la guerre contre les bolcheviks. Le 21 avril 1920, Piłsudski signa un accord avec l’ataman Symon Petlioura, par lequel l’Ukraine devint pour la première fois un État indépendant, bien que pour une courte durée. Le 25 avril 1920, l’offensive polonaise contre les bolcheviks commença en Ukraine. Les troupes polonaises entrèrent à Kiev le 7 mai 1920.

Le 18 mai, lorsque Piłsudski revint à Varsovie, il fut accueilli en héros national. Entre-temps, sur le front sud, la situation tourna au désavantage de la Pologne. La puissante armée de Boudionny arriva à la fin du mois de mai et frappa la 13e division de l’armée du général Haller. Après une résistance initiale, le front se rompit au début de juin. À Varsovie, le gouvernement Skulski s’effondra. À la Diète, les luttes politiques autour des portefeuilles ministériels paralysèrent le pouvoir. Le jeune État polonais, menacé par l’offensive ennemie, resta sans gouvernement pendant deux semaines. Finalement, le 23 juin, le gouvernement de Władysław Grabski fut formé. Le 4 juillet, l’armée bolchevique de Toukhatchevski attaqua sur le front nord-est. Dans une allocution à ses troupes, Toukhatchevski déclara :

« C’est à travers le cadavre de la Pologne que passe notre route vers l’incendie révolutionnaire mondial. En avant vers Minsk, Vilnius, Varsovie ! »

La retraite des divisions polonaises dans le Nord livra sans résistance des points stratégiques clés. Dans le même temps, le Premier ministre Grabski accepta et signa, le 10 juillet 1920, un armistice désastreux avec les bolcheviks sur la soi-disant ligne Curzon — un accord qui détermina les frontières orientales de la Pologne vingt-cinq ans plus tard. Un nouveau gouvernement d’unité nationale, dirigé par le Premier ministre Wincenty Witos, fut formé le 24 juillet.

Une mission militaire des Alliés occidentaux arriva à Varsovie, comprenant le général Weygand, qui offrit son aide en tant que conseiller du commandant en chef ou du chef de l’état-major général. Parmi les membres de la mission militaire française se trouvait également un grand jeune capitaine, Charles de Gaulle.

Piłsudski préférait les armes et les approvisionnements aux conseils. Les forces polonaises furent repoussées jusqu’aux abords de Varsovie, où se déroula la bataille décisive contre l’armée soviétique. À partir du 13 août, Varsovie se trouva à portée directe des bolcheviks. Malgré leurs assauts des 13 et 14 août, la ville ne tomba pas. Deux jours plus tard, le 16 août, les forces polonaises commandées par le maréchal Piłsudski frappèrent depuis la rivière Wieprz à l’arrière des armées bolcheviques concentrées. Les forces bolcheviques furent battues. L’arrêt de l’offensive bolchevique par une armée insuffisamment entraînée et souvent mal équipée tenait du miracle ; c’est pourquoi la bataille entra dans l’histoire sous le nom de « Miracle de la Vistule ».

Au cours de la bataille, les bolcheviks perdirent 25 000 morts et 66 000 prisonniers. Lord d’Abernon, chef de la mission militaire alliée, écrivit dans son ouvrage Les dix-huit batailles décisives du monde :

« La victoire fut obtenue avant tout grâce au génie stratégique d’un seul homme et à l’exécution d’une opération si dangereuse qu’elle exigeait non seulement du talent, mais aussi de l’héroïsme… »

Józef Piłsudski devint le héros et le défenseur du pays contre l’invasion communiste. Le traité de Riga, signé le 16 octobre 1921, mit fin à la guerre avec la Russie soviétique. Entre-temps, dans la République renaissante, la scène politique était dominée par une multitude de partis et par des querelles parlementaires. Après la mort tragique du premier président de la Pologne, Gabriel Narutowicz, assassiné par le nationaliste Eligiusz Niewiadomski, un nouveau gouvernement fut formé avec le général Władysław Sikorski comme Premier ministre, le général Sosnkowski comme ministre des Affaires militaires et le maréchal Józef Piłsudski comme chef de l’état-major général.

L’état d’urgence fut déclaré à Varsovie. Le 20 décembre 1922, l’Assemblée nationale élut Stanisław Wojciechowski président de la République. Piłsudski démissionna du Conseil de la guerre le 30 mai 1923. Il s’installa à Sulejówek, près de Varsovie, et se consacra à l’écriture, qui devint sa seule source de revenus, puisqu’il avait donné son salaire de chef de l’État à des œuvres sociales.

Piłsudski observait attentivement les événements du pays et maintenait le contact avec ses anciens compagnons. Il voyait la situation politique et économique se détériorer : inflation, abus, querelles parlementaires, dette nationale. Au début de mai 1926, des manifestations antigouvernementales éclatèrent parmi les officiers et les unités de tireurs. Des unités militaires fidèles attendaient le Commandant à Rembertów et, le 12 mai 1926, il marcha avec elles vers Varsovie.

Les pourparlers avec le président Wojciechowski, dont la dernière rencontre avec Piłsudski eut lieu sur le pont Poniatowski, ne permirent pas de résoudre la crise. Le général Orlicz-Dreszer dirigeait les forces fidèles au maréchal, tandis que le général Rozwadowski commandait les troupes gouvernementales. Piłsudski tenta encore à plusieurs reprises de négocier un cessez-le-feu, mais le président resta inflexible. Les combats fratricides prirent fin le 14 mai avec la démission du président. Le coup d’État de mai fit des victimes. Il divisa les loyautés de nombreux Polonais et Piłsudski lui-même souffrit profondément de ces événements.

Le 31 mai 1926, lors d’une session de l’Assemblée nationale, le maréchal Józef Piłsudski fut élu président de la République à la majorité des voix. Il refusa la fonction. Lors du vote suivant, le professeur Ignacy Mościcki devint président. Dans le premier gouvernement post-coup d’État du Premier ministre Kazimierz Bartel, Piłsudski occupa le poste de ministre des Affaires militaires, qu’il conserva dans les gouvernements successifs jusqu’à sa mort.

Le 6 août 1926, le président Mościcki nomma Piłsudski inspecteur général des forces armées. Deux ans plus tard, en 1928, le maréchal initia la création du Bloc non partisan pour la coopération avec le gouvernement (BBWR). Après la chute du gouvernement Bartel, le 28 août 1930, le président Mościcki nomma le maréchal Premier ministre. Le lendemain, 29 août, à la demande du Conseil des ministres, le président dissout la Diète et le Sénat. Lors des élections suivantes, le BBWR remporta une large victoire. Sous le slogan de la « sanation de la vie politique » et de la réforme morale, les gouvernements des partisans de Piłsudski furent connus sous le nom de gouvernements de la Sanation.

Le 12 mai 1935, le maréchal Józef Piłsudski mourut. Son corps fut inhumé au Wawel, dans la crypte de Saint-Léonard. Son cœur, conformément à sa dernière volonté, fut placé à côté du cercueil de sa mère au cimetière de Rossa à Vilnius. Dans la crypte sous la chapelle des Cloches d’Argent de la cathédrale du Wawel, des fleurs fraîches reposent toujours près du cercueil du maréchal. Józef Klemens Piłsudski fut un grand Polonais et un patriote ; il a pu commettre des erreurs, mais dans les moments les plus difficiles de la lutte de la Pologne et de la naissance de la Deuxième République, il donna l’exemple du plus haut patriotisme.