# [SOLVED]: free space of ext3 / decreasing

## WladyX

My free space on the root partition formated as ext3 keeps on decreasing.

All the folders and files on the partition occupy about 7GB. If i reboot everything returns to normal, df shows 7GB occupied and 7GB free, but over time the free space decreases even though there are no growing files/new files/folders.

Thanks for any suggestions.

Here is a picture from zabbix, the spike represents a reboot:

http://tinypic.com/r/152f04g/7

----------

## Randy Andy

WladyX,

please show us some info like the output of , df, mount and top for example.

You doesn't use a seperate swap partition, right?

Regards, Andy.

----------

## WladyX

I have 4GB of swap.

```
dex media # mount /dev/sda1 /media/self/

dex media # cd self/

dex self # du -sh *

61M   !

0   backup_done

5.7M   bin

85M   boot

53M   chroot

144K   dev

17M   etc

24M   home

164M   lib

16K   lost+found

32K   media

12K   mnt

48K   opt

4.0K   proc

728K   root

5.3M   sbin

4.0K   sys

0   test

116K   tmp

1.9G   usr

5.0G   var

dex self # df

Filesystem            Size  Used Avail Use% Mounted on

/dev/sda1              14G   11G  3.1G  77% /

udev                   10M  180K  9.9M   2% /dev

/dev/sda2             120G   45G   69G  40% /media/storage

shm                   1.8G     0  1.8G   0% /dev/shm

/dev/sda1              14G   11G  3.1G  77% /media/self

dex self # mount

/dev/sda1 on / type ext3 (rw,noatime,acl)

proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)

sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)

udev on /dev type tmpfs (rw,nosuid,relatime,size=10240k,mode=755)

devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620)

/dev/sda2 on /media/storage type ext3 (rw,noatime,acl)

shm on /dev/shm type tmpfs (rw,noexec,nosuid,nodev)

usbfs on /proc/bus/usb type usbfs (rw,noexec,nosuid,devmode=0664,devgid=85)

/dev/sda1 on /media/self type ext3 (rw)

```

```
top - 15:55:38 up 5 days,  4:01,  2 users,  load average: 0.49, 0.58, 0.40

Tasks: 172 total,   1 running, 171 sleeping,   0 stopped,   0 zombie

Cpu(s):  2.3%us,  0.4%sy,  0.0%ni, 95.5%id,  1.5%wa,  0.1%hi,  0.2%si,  0.0%st

Mem:   3763448k total,  2819464k used,   943984k free,   278520k buffers

Swap:  4915884k total,     9896k used,  4905988k free,  1309712k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                         

 4831 couchdb   20   0 33088 6624 1900 S    2  0.2  35:26.47 beam                                                            

    1 root      20   0  1740  528  492 S    0  0.0   0:02.66 init                                                            

    2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd                                                        

    3 root      RT   0     0    0    0 S    0  0.0   0:00.35 migration/0                                                     

    4 root      20   0     0    0    0 S    0  0.0   0:17.02 ksoftirqd/0                                                     

    5 root      RT   0     0    0    0 S    0  0.0   0:00.35 migration/1                                                     

    6 root      20   0     0    0    0 S    0  0.0   0:24.86 ksoftirqd/1                                                     

    7 root      RT   0     0    0    0 S    0  0.0   0:00.58 migration/2                                                     

    8 root      20   0     0    0    0 S    0  0.0   1:15.83 ksoftirqd/2                                                     

    9 root      RT   0     0    0    0 S    0  0.0   0:00.57 migration/3                                                     

   10 root      20   0     0    0    0 S    0  0.0   0:55.79 ksoftirqd/3                                                     

   11 root      20   0     0    0    0 S    0  0.0   0:03.28 events/0                                                        

   12 root      20   0     0    0    0 S    0  0.0   0:01.44 events/1                                                        

   13 root      20   0     0    0    0 S    0  0.0   0:01.51 events/2                                                        

   14 root      20   0     0    0    0 S    0  0.0   0:01.65 events/3                                                        

   15 root      20   0     0    0    0 S    0  0.0   0:00.66 khelper                                                         

   20 root      20   0     0    0    0 S    0  0.0   0:00.00 async/mgr                                                       

  158 root      20   0     0    0    0 S    0  0.0   0:00.22 sync_supers                                                     

  160 root      20   0     0    0    0 S    0  0.0   0:00.39 bdi-default                                                     

  162 root      20   0     0    0    0 S    0  0.0   0:16.01 kblockd/0                                                       

  163 root      20   0     0    0    0 S    0  0.0   0:15.20 kblockd/1                                                       

  164 root      20   0     0    0    0 S    0  0.0   0:10.47 kblockd/2                                                       

  165 root      20   0     0    0    0 S    0  0.0   0:08.98 kblockd/3                                                       

  168 root      20   0     0    0    0 S    0  0.0   0:00.00 kacpid                                                          

  169 root      20   0     0    0    0 S    0  0.0   0:00.00 kacpi_notify                                                    

  170 root      20   0     0    0    0 S    0  0.0   0:00.00 kacpi_hotplug                                                   

  289 root      20   0     0    0    0 S    0  0.0   0:00.00 ata/0                                                           

  290 root      20   0     0    0    0 S    0  0.0   0:00.00 ata/1                                                           

  291 root      20   0     0    0    0 S    0  0.0   0:00.00 ata/2                                                           

  292 root      20   0     0    0    0 S    0  0.0   0:00.00 ata/3                                                           

  293 root      20   0     0    0    0 S    0  0.0   0:00.00 ata_aux                                                         

  297 root      20   0     0    0    0 S    0  0.0   0:00.00 khubd                                                           

  300 root      20   0     0    0    0 S    0  0.0   0:00.00 kseriod                                                         

  363 root      20   0     0    0    0 S    0  0.0   1:13.55 kswapd0                                                         

  413 root      20   0     0    0    0 S    0  0.0   0:00.00 aio/0                                                           

  414 root      20   0     0    0    0 S    0  0.0   0:00.00 aio/1                                                           

  415 root      20   0     0    0    0 S    0  0.0   0:00.00 aio/2                                                           

  416 root      20   0     0    0    0 S    0  0.0   0:00.00 aio/3                                                           

  431 root      20   0     0    0    0 S    0  0.0   0:00.00 crypto/0                                                        

```

----------

## manaka

Probably files being deleted but still opened by some application. What's the output of the following commands?

```

lsof -P -n +L1

lsof -P -n | grep -E -e "(path inode|deleted)"

```

----------

## WladyX

```
dex ~ # lsof -P -n +L1 

COMMAND     PID   USER   FD   TYPE DEVICE   SIZE/OFF NLINK   NODE NAME

apache2    4621   root   83w   REG    8,1          0     0 539630 /var/run/ssl_mutex (deleted)

apache2    5948 apache   83w   REG    8,1          0     0 539630 /var/run/ssl_mutex (deleted)

zabbix_se  6548 zabbix    1w   REG    8,1    1048654     0 768680 /var/log/zabbix/zabbix_server.log.old (deleted)

zabbix_se  6548 zabbix    2w   REG    8,1    1048654     0 768680 /var/log/zabbix/zabbix_server.log.old (deleted)

zabbix_se  6663 zabbix    1w   REG    8,1    1048654     0 768680 /var/log/zabbix/zabbix_server.log.old (deleted)

zabbix_se  6663 zabbix    2w   REG    8,1    1048654     0 768680 /var/log/zabbix/zabbix_server.log.old (deleted)

zabbix_se  6674 zabbix    1w   REG    8,1    1048654     0 768680 /var/log/zabbix/zabbix_server.log.old (deleted)

zabbix_se  6674 zabbix    2w   REG    8,1    1048654     0 768680 /var/log/zabbix/zabbix_server.log.old (deleted)

php       10588   root    1w   REG    8,1 2974160257     0 539625 /var/log/tt-rss-20101112 (deleted)

php       10588   root    2w   REG    8,1 2974160257     0 539625 /var/log/tt-rss-20101112 (deleted)

php       10612   root    1w   REG    8,1 2974160257     0 539625 /var/log/tt-rss-20101112 (deleted)

php       10612   root    2w   REG    8,1 2974160257     0 539625 /var/log/tt-rss-20101112 (deleted)

apache2   11744 apache   83w   REG    8,1          0     0 539630 /var/run/ssl_mutex (deleted)

apache2   11828 apache   83w   REG    8,1          0     0 539630 /var/run/ssl_mutex (deleted)

apache2   11829 apache   83w   REG    8,1          0     0 539630 /var/run/ssl_mutex (deleted)

php       20743   root    1w   REG    8,1 2974160257     0 539625 /var/log/tt-rss-20101112 (deleted)

php       20743   root    2w   REG    8,1 2974160257     0 539625 /var/log/tt-rss-20101112 (deleted)

mysqld    24749  mysql    4u   REG    8,1          0     0 408805 /tmp/ib0IKX4F (deleted)

mysqld    24749  mysql    5u   REG    8,1        120     0 408806 /tmp/ib3pOoAr (deleted)

mysqld    24749  mysql    6u   REG    8,1          0     0 408807 /tmp/ibj7VP5c (deleted)

mysqld    24749  mysql    7u   REG    8,1          0     0 408808 /tmp/ibuQClKY (deleted)

mysqld    24749  mysql   11u   REG    8,1          0     0 408809 /tmp/ibK456yK (deleted)

dex ~ # 

dex ~ # lsof -P -n | grep -E -e "(path inode|deleted)" 

apache2    4621     root   83w      REG        8,1          0     539630 /var/run/ssl_mutex (deleted)

apache2    5948   apache   83w      REG        8,1          0     539630 /var/run/ssl_mutex (deleted)

zabbix_se  6548   zabbix    1w      REG        8,1    1048654     768680 /var/log/zabbix/zabbix_server.log.old (deleted)

zabbix_se  6548   zabbix    2w      REG        8,1    1048654     768680 /var/log/zabbix/zabbix_server.log.old (deleted)

zabbix_se  6663   zabbix    1w      REG        8,1    1048654     768680 /var/log/zabbix/zabbix_server.log.old (deleted)

zabbix_se  6663   zabbix    2w      REG        8,1    1048654     768680 /var/log/zabbix/zabbix_server.log.old (deleted)

zabbix_se  6674   zabbix    1w      REG        8,1    1048654     768680 /var/log/zabbix/zabbix_server.log.old (deleted)

zabbix_se  6674   zabbix    2w      REG        8,1    1048654     768680 /var/log/zabbix/zabbix_server.log.old (deleted)

php       10588     root    1w      REG        8,1 2974225658     539625 /var/log/tt-rss-20101112 (deleted)

php       10588     root    2w      REG        8,1 2974225658     539625 /var/log/tt-rss-20101112 (deleted)

php       10612     root    1w      REG        8,1 2974225658     539625 /var/log/tt-rss-20101112 (deleted)

php       10612     root    2w      REG        8,1 2974225658     539625 /var/log/tt-rss-20101112 (deleted)

apache2   11744   apache   83w      REG        8,1          0     539630 /var/run/ssl_mutex (deleted)

apache2   11828   apache   83w      REG        8,1          0     539630 /var/run/ssl_mutex (deleted)

apache2   11829   apache   83w      REG        8,1          0     539630 /var/run/ssl_mutex (deleted)

php       20743     root    1w      REG        8,1 2974225658     539625 /var/log/tt-rss-20101112 (deleted)

php       20743     root    2w      REG        8,1 2974225658     539625 /var/log/tt-rss-20101112 (deleted)

mysqld    24749    mysql    4u      REG        8,1          0     408805 /tmp/ib0IKX4F (deleted)

mysqld    24749    mysql    5u      REG        8,1        120     408806 /tmp/ib3pOoAr (deleted)

mysqld    24749    mysql    6u      REG        8,1          0     408807 /tmp/ibj7VP5c (deleted)

mysqld    24749    mysql    7u      REG        8,1          0     408808 /tmp/ibuQClKY (deleted)

mysqld    24749    mysql   11u      REG        8,1          0     408809 /tmp/ibK456yK (deleted)

```

----------

## manaka

The output of lsof confirms the guess. Some files have been deleted but are still held open. These files don't show up in the tree hierarchy, but they need space. When the files are closed by all the process that had them open (or the processes end execution), the space is "reclaimed".

This is not a problem per se. It only means some FS space is apparently "lost". But no system problem at all.

One of the processes involved is the PHP interpreter. You may try inspecting the code and see on which part it's deleting the files.

----------

## WladyX

Yup, you were right, killing the tt-rss update daemon (php) restored the free space.

Thank you so much for pointing me in the right direction  :Smile: 

Mistery solved.

----------

## idella4

WladyX.

could you write [solved] by your title thread then

----------

## WladyX

Done.

----------

