Les chapitres 4 et 5 de La raison du plus fort, une conférence prononcée par Jacques Derrida lors de la dernière décade de Cerisy qui lui a été consacrée, le 15 juillet 2002 (jour de son 72ème anniversaire), et reprise dès 2003 dans Voyous, sont le lieu d'un étrange dialogue avec Jean-Luc Nancy. Celui-ci a publié en 1988 le texte de sa thèse de doctorat sous le titre L'expérience de la liberté - soutenue en 1987 sous la direction de Gérard Granel avec dans son jury Lucien Braun, Jean-Toussaint Desanti, Jean-François Lyotard, Georges Mailhos et, justement, Jacques Derrida. En 2002, Derrida connaissait donc depuis longtemps le point de vue de son ami sur ce sujet difficile, la liberté, auquel lui-même n'a jamais consacré aucun livre. Pourquoi donc revenir sur ce sujet? Pas pour le critiquer, dit-il, mais pour faire émerger, à partir d'une analyse des thèses de Nancy, un clivage essentiel pour lui : entre d'une part le mesurable, le calculable, et d'autre part l'incalculable et l'inconditionnel. Alors que Nancy semble accepter l'idée d'une continuité entre égalité mesurable (par le nombre, par le mérite) et égalité de principe (inconditionnelle), entre liberté intentionnelle (celle du moi, de la volonté d'un "Je peux") et liberté radicale, indécidable, Derrida soutient que le rapport entre les deux est antinomique, aporétique. Il généralise ce clivage en renvoyant à deux concepts : d'un côté le politique (calculable) et d'un autre côté l'éthique pure (incalculable). Entre les deux, il va jusqu'à parler de frontière. Il faut cette frontière pour qu'on puisse, au-delà du politique, dire l'éthique pure.

La discussion tourne autour du troisième terme de la devise de la République française : fraternité. Selon Derrida, la fraternité associe des frères par généalogie, virilité, souveraineté, par exclusion de la femme et de la sœur. Le politique de la communauté, de l'Etat-nation, est fondé sur un partage fraternel, dans le prolongement de la tradition chrétienne de la Trinité. L'idée de Jean-Luc Nancy selon laquelle la fraternité pourrait être le lieu du partage de la liberté ["La communauté partage la démesure de la liberté", L'expérience de la liberté p97] inquiète Derrida, car alors la liberté, rabattue sur l'égalité, n'est plus inconditionnelle, mais mesurable - c'est celle du partage du corps démembré du père, christique, voire freudien (le père mort).

Dans la démocratie telle qu'elle fonctionne, la liberté n'est pas celle de l'autre, mais celle du semblable qui partage fraternellement ce cadavre. Derrida oppose à cette chaîne de valeurs, aujourd'hui dominante, ce qu'il nomme l'éthique pure, qui "commence à la dignité respectable de l'autre comme l'absolu dissemblable, reconnu comme non reconnaissable, voire comme méconnaissable, au-delà de tout savoir, de toute connaissance et de toute reconnaissance" (Voyous p90). Aucune règle de droit et aucune technique ne permet de reconnaître cet autre qui n'est pas un frère, et pas non plus nécessairement un humain ou un vivant. Il fallait que Derrida se dissocie de Jean-Luc Nancy pour qu'il puisse affirmer sa croyance à lui, en une ultra-politique (Voyous p63), un au-delà du politique qui ne relève ni de la fraternité, ni du partage, ni du calculable.