Cinq logiciels reviennent systématiquement pour monter un serveur VPN auto-hébergé. Ils ne se valent pas sur les mêmes critères : voici ce qui les distingue réellement, au-delà des slogans.
OpenVPN s'appuie sur OpenSSL et négocie ses clés via TLS/SSL, avec un choix entre UDP (plus rapide) et TCP (plus fiable pour traverser des réseaux restrictifs). C'est un projet open source examiné publiquement depuis plus de vingt ans, ce qui en fait une référence en matière d'audit indépendant - au prix d'une base de code nettement plus large que les alternatives récentes, donc plus lourde à faire tourner sur du matériel modeste.
WireGuard repose sur un ensemble fixe d'algorithmes modernes (Curve25519, ChaCha20-Poly1305), documentés dans le whitepaper présenté à NDSS 2017 par son auteur Jason A. Donenfeld. Son code source, environ dix fois plus réduit que celui d'OpenVPN, est nettement plus simple à auditer et à maintenir. Il est intégré au noyau Linux depuis la version 5.6 (2020), ce qui simplifie encore son déploiement sur un serveur Linux moderne.
Né comme client open source pour le protocole SSL VPN d'origine Cisco AnyConnect, OpenConnect s'accompagne d'un serveur compatible, ocserv. Il utilise TLS/DTLS (via GnuTLS ou OpenSSL) et peut coexister sur le port 443 avec un serveur web existant - un atout pour traverser des réseaux qui bloquent tout trafic non-HTTPS.
Développé à l'origine comme projet universitaire à l'Université de Tsukuba, SoftEther est un serveur VPN capable de parler plusieurs protocoles à la fois (son protocole propre, mais aussi L2TP/IPsec, une émulation OpenVPN, SSTP). Il peut lui aussi faire transiter le trafic VPN sur le port 443, ce qui le rend difficile à distinguer du trafic HTTPS standard.
pfSense n'est pas un protocole VPN mais un système de pare-feu et de routage complet, basé sur FreeBSD, capable d'héberger des paquets OpenVPN ou WireGuard directement depuis son interface graphique. Son intérêt : combiner pare-feu et serveur VPN sur une seule machine, avec un assistant de configuration qui évite l'édition manuelle de fichiers de configuration.
IKEv2 (Internet Key Exchange version 2), toujours associé à IPsec pour le chiffrement, n'a pas été mentionné plus haut mais mérite sa place : c'est le protocole que la plupart des systèmes d'exploitation mobiles (iOS, Android) et de bureau (Windows, macOS) savent configurer nativement, sans installer d'application tierce. Son atout distinctif est l'extension MOBIKE, normalisée par l'IETF, qui permet de changer de réseau - passer du Wi-Fi à la 4G, par exemple - sans que le tunnel ne se coupe ni ne se renégocie entièrement. C'est un vrai avantage pour un usage nomade, comparable à ce que propose WireGuard par une conception différente.
La Perfect Forward Secrecy (PFS) garantit qu'une clé de session compromise ne permet pas de déchiffrer les sessions passées ou futures, chaque session négociant sa propre clé éphémère. C'est une propriété de la phase d'échange de clés (le groupe Diffie-Hellman utilisé par IKEv2 et OpenVPN), pas du chiffrement du contenu lui-même. Sur un serveur auto-hébergé, la PFS n'est pas toujours activée par défaut dans les configurations générées automatiquement : vérifiez explicitement ce paramètre plutôt que de supposer qu'il est correct.
Sur un même serveur d'entrée de gamme (1 vCPU), le chiffrement ChaCha20-Poly1305 de WireGuard est nettement moins coûteux en cycles processeur que les suites AES-CBC historiquement utilisées par OpenVPN, ce qui se traduit par un débit plus élevé et une consommation de batterie plus faible côté client mobile - à condition que le processeur du serveur ne dispose pas d'instructions AES-NI, auquel cas l'écart se réduit fortement. C'est un point à vérifier dans les caractéristiques du VPS avant de conclure qu'un protocole est intrinsèquement plus lent qu'un autre.
| Logiciel | Base technique | Point fort | Limite |
|---|---|---|---|
| OpenVPN | OpenSSL, TLS/SSL | Le plus audité, très large compatibilité | Code volumineux, plus lourd |
| WireGuard | Curve25519, ChaCha20-Poly1305 | Code réduit, performant, natif au noyau Linux | Pas de suite FIPS native |
| IKEv2/IPsec | Diffie-Hellman, AES | Natif sur mobile, stable en itinérance (MOBIKE) | PFS pas toujours activée par défaut |
| OpenConnect | TLS/DTLS (GnuTLS/OpenSSL) | Coexiste sur le port 443 | Écosystème plus restreint |
| SoftEther | Multi-protocole | Contourne le filtrage réseau (port 443) | Configuration plus complexe |
| pfSense | Plateforme FreeBSD | Pare-feu + VPN en un seul système | Nécessite une machine dédiée |
Pour un premier serveur personnel sur un VPS Linux standard, WireGuard offre le meilleur rapport simplicité/performance. Si vous avez besoin d'une compatibilité native sans application tierce (par exemple pour configurer rapidement un appareil qui n'est pas le vôtre), IKEv2/IPsec est le choix le plus pratique. Si vous devez contourner un filtrage réseau actif, OpenConnect ou SoftEther (via le port 443) sont plus adaptés. Si vous voulez piloter pare-feu et VPN depuis une seule interface, pfSense reste la solution la plus complète - au prix d'une machine dédiée.
Il n'est pas nécessaire de choisir un seul protocole pour toujours. La plupart des logiciels de serveur VPN (y compris pfSense) permettent de faire tourner plusieurs protocoles en parallèle sur des ports différents, le temps de migrer vos appareils clients un par un vers WireGuard par exemple, sans interrompre l'accès de ceux qui utilisent encore OpenVPN. Conservez l'ancienne configuration active jusqu'à ce que tous vos appareils soient basculés et testés, plutôt que de couper l'ancien protocole immédiatement.