Общие вопросы

Нужно передать window:
..=showModalDialog("file.html", window, "...")

И в file.html
...
var topWin=window.dialogArguments;
alert(topWin.document.body.innerHTML)
...
Где topWin родительское окно.

Remarks:
showModalDialog блокирует родительское окно и практически все доступно только для чтения.

Для полноценной работы с родительским окном нужно использовать showModelessDialog, работает только под IE>=5, и не блокирует основное окно.