Aby se modemy mezi sebou správně dorozuměly, dohodli se výrobci na standardizovaných komunikačních protokolech, neboli jazycích, kterými mezi sebou modemy hovoří. Bez těchto protokolů by se spolu dorozuměly pouze modemy od stejného výrobce. Protokoly definují rychlost spojení, způsob komprese dat, chybová hlášení apod. Který z těchto protokolů bude pro komunikaci použit, se musí modemy domluvit předem - například rychlejší modem se musí přizpůsobit pomalejšímu, oba pak kvalitě komunikační linky. Datová propustnost telefonní linky je omezená fyzickými limity analogové sítě, ostatně tomu i odpovídá vývoj komunikačních protokolů, kdy se zvyšovaly maximální přenosové rychlosti až na dnešní teoretické maximum pro tok dat směrem k vám - 56 kb/s. Ke zvyšování rychlosti se dále již používá komprese přenášených dat v reálném čase - komprimace se provádí v modemu s použitím standardních algoritmů. Samozřejmě záleží na struktuře posílaných dat (např. zkomrimovaný soubor již těžko zmenšíme narozdíl od textového dokumentu).
   
Komunikační protokoly jsou definovány výborem CCITT, který je součástí mezinárodní telekomunikační unie.

Standardní komunikační protokoly jsou uvedeny v této tabulce:

protokol   max. přenos. rychlost  
  Bell 103 300 b/s  
  CCITT V.21 300 b/s  
  Bell 212A 1 200 b/s  
  zITU V.22 1 200 b/s  
  ITU V.22bis    2 400 b/s  
  ITU V.29 9 600 b/s  
  ITU V.32 9 600 b/s  
  ITU V.32bis 14 400 b/s  
  ITU V.34 33 600 b/s  
  ITU V.90 56 000 b/s  


   
Modem má v sobě vestavěnou vyšší inteligenci, spočívající v tom, že umí opakovat vysílání dat, pokud druhá strana nepotvrdí jejich bezchybný příjem. Taková situace nastává často, protože na telefonní lince se mohou objevit různá rušení. S růstem elektronických ústředen se kvalita přenosové trasy (mezi volajícím a volaným) neustále zlepšuje. Modemy mohou dosahovat vyšších rychlostí, a tak se data dostanou na druhou stranu mnohem rychleji.Většina modemů umožňuje sledovat kvalitu spojení i během komunikace a v případě nutnosti snížit rychlost přenosu dat. Pokud ale modem zjistí, že se kvalita linky zlepšila, ihned zahájí pokusy domluvit se s modemem na druhé straně linky na zvýšení rychlosti.