@Camelot:
Das hat zwar kurzfristig funktioniert aber nach einem reboot ist das Problem wieder vorhanden.
Ich habe außerdem festgestellt, dass ein Prozess gvfsd-trash eine Unmenge CPU Leistung frisst und sobald die Icons auf dem Desktop erscheinen (z. B. nach Eingabe von xfdesktop) dann ist der Prozess verschwunden. Ich weiß nicht, ob das zusammenhängt aber es ist allemal seltsam.
Im Netz gibt es viele Einträge in Zusammenhang mit diesem Prozess, meist mit Gnome aber nicht wirklich eine Lösung.