Cette formulation, à laquelle Derrida aboutit après avoir analysé le plaisir désintéressé de Kant, est la grosse Schwierigkeit (la grande difficulté) à laquelle aboutit la théorie kantienne du beau. Car si le plaisir désintéressé est purement subjectif, comment peut-il être orienté vers l'objet? Comment l'auto-affection la plus close (un désintéressement total) peut-elle contenir l'hétéro-affection la plus irréductible (l'objet beau sur lequel porte le jugement est dehors, il est extérieur à moi, indépendant de mon existence, purement objectif). Kant pose la question sous la forme : Comment peut-il y avoir un jugement universel sur le beau?

Le tout-autre ne peut pas être ramené au même. Aucune relation sujet-objet ne le dialectise dans une opposition. Il reste hétérogène.

Il est possible que Derrida n'ait pas cherché à construire une théorie esthétique, mais cette formulation est au coeur de ses préoccupations. Si ce n'est pas une théorie, c'est un questionnement esthétique. Comment passer de l'auto-affection subjective au tout-autre? Lévinas s'est posé la question, et n'a pas caché sa méfiance à l'égard de l'image. Le tout-autre de Lévinas est derrière l'image, invisible, tandis que le tout-autre de Derrida habite notre propre rapport à l'image.