Независимо от физической среды передачи (провод, Wi-Fi и т.п.) оба ваших компьютера находятся в одной локальной сети.
Роутер здесь в общем-то ни при чём - с точки зрения организации связи между компьютерами LAN он абсолютно прозрачен.
Дальше читаем тут:
Доступ к папкам компьютера по сети (sharing) в Windows