Dunque, per condividere la connessione ad internet senza avere l'obbligo di almeno un pc acceso (che faccia da gateway), ti serve appunto un router. Ne trovi molti in commercio, ma se vuoi una cosa che costa poco leggi
qui.
E già qui saresti a posto, nel senso che il router lo colleghi al telefono, lo accendi, lui si connette automaticamente e mantiene la linea attiva. Poi basta che tu colleghi un pc tramite un cavo di rete (no cross) e sei già in internet. Normalmente i router hanno appunto un server dhcp integrato, in modo che tu non devi settare nessun parametro (a parte quelli di configurazione del router) sui pc ma puoi semplicemente attaccare il cavo e il gioco è fatto.
Se poi vuoi condividerlo con più pc, o stacchi il cavo dal pc e lo attacchi sul nuovo, oppure ti prendi uno switch (che anche li ne trovi di tutti i prezzi e modelli), su una porta entri col router e sulle altre esci coi cavi che vanno ai pc. In questo modo tutti i pc collegati allo switch sono automaticamente collegati in internet e, se il router fa anche da dhcp, sono anche collegati tra loro in rete; altrimenti devi settarti i parametri a mano (ma anche qui c'è una guida all'installazione di una rete lan) e il gioco è fatto.
Se poi tu prevedi di comprare un portatile e vuoi collegarlo in wireless, allora ti conviene già pensare di prendere un router che abbia anche un access point integrato, le cose sono quelle dette prima.
La parte complicata di tutta la faccenda è il settaggio del router, ma si trovano manuali in rete e gente pronta ad aiutarti (qui, nel forum).
Comunque ricapitolando, la configurazione deve essere:
Linea telefonica -> Router -> Switch -> Computer
oppure:
Linea telefonica -> Router+Access Point -> Computer.
Per i prodotti non ti saprei consigliare, magari leggi il link e vedrai che davvero con una modica cifra (circa 37€) hai un router. Magari per i consigli sui prodotti aspetta anche altri pareri o fai una ricerca sul forum, come detto dell'argomento se n'è già parlato.