A técnica padrão para o roteamento desses pacotes através do modem é chamada de Protocolo Ponto a Ponto (PPP). A idéia básica é simples: a pilha TCP/IP do seu computador forma os datagramas TCP/IP normalmente, mas então os datagramas são entregues ao modem para transmissão. O provedor recebe cada datagrama e o roteia apropriadamente pela Internet. O mesmo processo ocorre para pegar dados do provedor e trazê-los para o seu computador. Veja esta página (em inglês) para mais informações sobre PPP.
Se você quer saber mais sobre modems, protocolos e, principalmente, se quiser se aprofundar em assuntos como chaveamento de mudança de fase (PSK) e modulação de amplitude em quadratura (QAM), dê uma olhada nos links da próxima página.