Hola amigo, te recomiendo no uses END ya que a pesar de que se ve que finaliza la aplicacion, pues en el Administrador de Tareas del sistema operativo aun queda corriendo la aplicaicon y cando la corres de nuevo te da problemas, es mas veras que si ejecutas END corriendo la aplicacion desde Visual Studio aun tendras que darle a veces al boton de Detener.
Te recomiendo uses Application.exit() asi mismo lo escribes y si es pa cerrar una ventana usar Me.Close() , Saludos