Wenn ich Du wäre, würde ich sicherstellen, das xserver-xorg-input-ecdev installiert ist und ein beherztes
rm -f /etc/X11/xorg.conf
machen. Für die Nvidia-Karte legst du ein
/etc/X11/xorg.conf.d/20-nvidia.conf laut Manual an und Dein "Problem" dürfte Geschichte sein.