Гыхм...
1. PHP генерирует HTML-код. Что ты в PHP-скрипте напишешь, то и будет передаваться браузеру HTML-странице.
2. Тоненька синяя линия подчеркивания появилась изза пробела(ми) перед тегом </A>. Либо убери их, либо вынеси за пределы блока <A>...</A>.
3. button.jpg - источник рисунка, а не имя элемента; имя задается в параметре NAME="..." (в моем примере - NAME="img1").
4. URL ссылки вставляется в параметр HREF тэга A. В своем примере я фактически поставил туда ссылку на текущую страницу (#). Тебе нужно заменить ее на index.php.
5. Если линк связан только с рисунком и не с чем более на странице, можно вместа тэга <A> использовать обработчик OnClick.
Теперь все вместе:
Код HTML:
<IMG SRC="button.jpg" NAME="img1"
onMouseOver="javascript:img1.src='button_over.jpg';"
onMouseOut="javascript:img1.src='button.jpg';"
onClick="javascript:window.location='index.php';">