Allora, se vuoi fare le cose per bene e facili il mio consigio è quello di prendere un router con access point integrato, in modo che puoi creare la rete wireless e sei sempre collegato ad internet (avendo però un abbonamento flat).
Altrimenti puoi comprare un access point per creare la rete wireless e poi condividere il modem installato su uno dei due pc; in questo caso per navigare con internet devi per forza accendere il pc con il modem e collegarti.
Se vuoi collegare entrambi i pc in wireless volendo basta avere le schede wifi su entrambi i pc e tramite windows (XPSP2) ti crei già una rete wireless.
Dipende da come vuoi configurare la rete e da che abbonamento adsl hai (flat o a consumo).
La soluzione più valida secondo me è la prima.
In ogni caso nella sezione guide trovi delle guide per configurare la rete, sia lan che wireless utilizzando windows. Per l'access point è un po' diverso ma ti diamo una mano.