Frantz Fanon, mémoire d'asile