Instancias de Oracle que terminan abruptamente y sistemas de archivos en sólo lectura

Tienes un servidor Linux corriendo una o más instancias de Oracle, y un día todas las instancias están abajo excepto sus listeners. Revisas el log de alertas y no encuentras absolutamente nada, y si eres afortunado intentas levantar las instancias y obtienes un mensaje de error acerca de un sistema de archivos en modo de sólo lectura.

myserver> dbstart
ORACLE_HOME_LISTNER is not SET, unable to auto-start Oracle Net Listener
Usage: /oracle/product/10.2.0/bin/dbstart ORACLE_HOME
touch: cannot touch `/oracle/product/10.2.0/startup.log': Read-only file system
chmod: changing permissions of `/oracle/product/10.2.0/startup.log': Read-only file system
Processing Database instance "mydb01": log file /oracle/product/10.2.0/startup.log
/oracle/product/10.2.0/bin/dbstart: line 361: /oracle/product/10.2.0/startup.log: Read-only file system
touch: cannot touch `/oracle/product/10.2.0/startup.log': Read-only file system
chmod: changing permissions of `/oracle/product/10.2.0/startup.log': Read-only file system
Processing Database instance "mydb02": log file /oracle/product/10.2.0/startup.log
/oracle/product/10.2.0/bin/dbstart: line 361: /oracle/product/10.2.0/startup.log: Read-only file system

myserver> touch /oracle/product/10.2.0/test.txt
touch: cannot touch `/oracle/product/10.2.0/test.txt': Read-only file system

Intentas crear un archivo con touch en el sistema de archivos de Oracle y no puedes, por lo que revisas el tiempo arriba del servidor, la carga y los sistemas de archivos montados:

myserver> uptime
 11:34:30 up 138 days, 18:02,  1 user,  load average: 0.00, 0.00, 0.00

myserver> mount
/dev/mapper/VolGroup01-LogVol00 on / type ext3 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
/dev/cciss/c0d0p1 on /boot type ext3 (rw)
tmpfs on /dev/shm type tmpfs (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
/dev/mapper/appsvg-lv001 on /oracle type ext3 (rw,_netdev)

Todo se ve bien pero notas la opción _netdev en el sistema de archivos de Oracle. Cuando configuras sistemas de archivos en /etc/fstab y algunos de ellos son dependientes de la red, pones esta opción para que el sistema operativo no intente montarlos antes de tener conexión a la red.

Por lo tanto, tienes un sistema de archivos que es accesado a través de la red por lo que podría ser iSCSI:

myserver> /sbin/lsmod|grep iscsi
iscsi_tcp              19785  3
libiscsi_tcp           21957  2 iscsi_tcp,cxgb3i
libiscsi2              42181  5 ib_iser,iscsi_tcp,bnx2i,cxgb3i,libiscsi_tcp
scsi_transport_iscsi2    37709  7 ib_iser,iscsi_tcp,bnx2i,cxgb3i,libiscsi2
scsi_transport_iscsi     6085  1 scsi_transport_iscsi2
scsi_mod              141717  23 mptctl,ib_iser,iscsi_tcp,bnx2i,cxgb3i,libiscsi2,scsi_transport_iscsi2,scsi_dh,sg,qla2xxx,scsi_transport_fc,mptspi,scsi_transport_spi,mptsas,mptscsih,scsi_transport_sas,usb_storage,cciss,hpahcisr,sd_mod

myserver> /sbin/iscsiadm -m session -P 2
iscsiadm: Maybe you are not root?
iscsiadm: Could not lock discovery DB: /var/lock/iscsi/lock.write: Permission denied
Target: iqn.2000-03.com.someprovider:mycompany:87:mycmp1
        Current Portal: 10.0.57.23:3260,1
        Persistent Portal: 10.0.57.34:3260,1
                **********
                Interface:
                **********
                Iface Name: default
                Iface Transport: tcp
                Iface Initiatorname: iqn.1994-05.com.redhat:1234abc56d78
                Iface IPaddress: 10.0.57.85
                Iface HWaddress: 
                Iface Netdev: 
                SID: 1
                iSCSI Connection State: Unknown
                iSCSI Session State: LOGGED_IN
                Internal iscsid Session State: Unknown
                ************************
                Negotiated iSCSI params:
                ************************
                HeaderDigest: None
                DataDigest: None
                MaxRecvDataSegmentLength: 262144
                MaxXmitDataSegmentLength: 262144
                FirstBurstLength: 262144
                MaxBurstLength: 1048576
                ImmediateData: Yes
                InitialR2T: No
                MaxOutstandingR2T: 1

Ese es el problema! Las instancias de Oracle terminan abruptamente porque no pueden escribir en los archivos de la base de datos, y si los logs están en los mismos sistemas de archivos Oracle no puede tampoco escribir mensajes de error. Este problema de conectividad podría ser debido a una carga pesada, a problemas intermitentes en la red, problemas con los dispositivos de almacenamiento o cualquier otra cosa, pero si el problema no es muy grave tu administrador de sistemas podría cambiar algunos parámetros iSCSI para aliviar un poco la situación:

node.conn[0].timeo.noop_out_interval = 0
node.conn[0].timeo.noop_out_timeout = 0
node.session.timeo.replacement_timeout = 86400

Más información:

Filesystems becoming read-only on iSCSI
Linux* Open-iSCSI