Sous Linux, cela est possible, par login distant, et même supporté.

Sous Windows, cela n'est pas supporté, mais possible grâce à VNC.

Oui, sans problème, vous pouvez même en utiliser plusieurs en même temps. L'application cependant est totalement maîtresse de cette situation. Il existe un jeu de fonctions qui vous permet de choisir le GPU qui exécutera les calculs.

Cependant, chaque thread du côté CPU ne peut gérer qu'un seul et unique GPU. Pour pouvoir pleinement utiliser la puissance d'un système à multiples GPU, il vous faudra créer plusieurs threads CPU, chose relativement aisée avec les bibliothèques existantes.

CUDA fournit une couche d'abstraction aussi éloignée du matériel que souhaitable. Même si, pour obtenir le meilleur de ce matériel, il est nécessaire de programmer spécifiquement pour le matériel utilisé. Vous pouvez cependant déjà obtenir d'énormes accélérations sans devoir descendre à ce niveau.

CUDA est un énorme pas en avant pour le GPGPU. En effet, les choix posés par l'équipe CUDA formeront le futur du GPGPU, et des langages de programmation hétérogènes en général.

Il est plus amusant, en général, de se dire que son bout de code sera exécuté, par exemple, 16 millions de fois, au lieu d'une seule et unique par traitement dans d'autres environnements.

CUDA cache un énorme potentiel. En ouvrant le GPGPU à tous, NVIDIA permet au même public de se former à CUDA et de fournir des ressources de plus en plus nombreuses, en facilitant son enseignement.

Longtemps, CUDA n'a pas pu utiliser de récursion. Cela est corrigé depuis la version 3.1, sur du matériel de génération Fermi ou plus récent (GeForce 400). De même, avec les années, le langage a énormément évolué, facilitant la conception de code facilement réutilisable.