En dag finns det liv. En människa till exempel, vid bästa hälsa, inte ens gammal, har aldrig varit sjuk. Allt är som det har varit, som det alltid kommer att vara. Hon lever från dag till dag, sköter sitt, drömmer bara om livet som ligger framför henne. Och plötsligt inträffar döden.

Så börjar Att uppfinna ensamheten, Paul Austers gripande och personliga meditation om faderskap. Den första delen, Porträtt av en osynlig man, återger författarens minnen och känslor efter hans fars plötsliga död. När han går igenom faderns efterlämnade papper får han för första gången reda på en sextio år gammal mordhistoria i familjen, en händelse som kastar nytt ljus över faderns komplicerade och undvikande karaktär.
      I Minnets bok ändras perspektivet. Nu handlar boken istället om Paul Austers roll som far till sin förstfödde son, Daniel. Genom en mosaik av bilder, sammanträffanden och associationer behandlar berättaren A separationen från sonen, sin döende morfar och den ensamhet som författandet innebär.