# [solved] Can't load more than about 256 MB of memory/process

## wbecker

It's really bizarre. I have several amd64 systems running but on one particular one, I find that as soon as an application goes over about 256MB ram it either starts using swap or (if I turn swap off) it just crashes. 

I have 4GB of memory on this machine, so it oughtn't be a memory issue. 

I thought it was just eclipse at the start - so it was a Java issue but I have fiddled with eclipserc to no avail. I then found that plasma and vmware and all sorts of things trigger it. 

Is there some funny kernel setting that I could have on which I shouldn't? 

I dont use any funny use flags, just: 

```
USE="-semantic-desktop mmx sse sse2  -gtk xinerama  truetype type1 cleartype corefonts zip kde -gnome nsplugin -gstreamer -eds"
```

Is there anything I can do?

-------------

PS: Looking at dmesg after a crash I get:

```
vmware-vmx invoked oom-killer: gfp_mask=0x201da, order=0, oomkilladj=0                                                                                                

vmware-vmx cpuset=/ mems_allowed=0                                                                                                                                    

Pid: 4856, comm: vmware-vmx Tainted: P           2.6.31-gentoo-r6 #5                                                                                                  

Call Trace:                                                                                                                                                           

 [<ffffffff810909e6>] ? oom_kill_process+0x91/0x23d                                                                                                                   

 [<ffffffff8102c371>] ? read_tsc+0xa/0x20                                                                                                                             

 [<ffffffff81090d52>] ? badness+0x1a2/0x1e6                                                                                                                           

 [<ffffffff81090dd2>] ? __out_of_memory+0x3c/0x142                                                                                                                    

 [<ffffffff8109101a>] ? out_of_memory+0x142/0x174                                                                                                                     

 [<ffffffff810c85c3>] ? do_sys_poll+0x30e/0x389                                                                                                                       

 [<ffffffff810942b0>] ? __alloc_pages_nodemask+0x45e/0x53a                                                                                                            

 [<ffffffff812be6a0>] ? scsi_request_fn+0x369/0x440                                                                                                                   

 [<ffffffff81095c20>] ? __do_page_cache_readahead+0x9b/0x1a4                                                                                                          

 [<ffffffff81095f37>] ? ondemand_readahead+0x11f/0x1a7                                                                                                                

 [<ffffffff8108fb30>] ? generic_file_aio_read+0x1ff/0x527                                                                                                             

 [<ffffffff810bbb25>] ? do_sync_read+0xce/0x113                                                                                                                       

 [<ffffffff810a16be>] ? handle_mm_fault+0x2eb/0xa57                                                                                                                   

 [<ffffffff81069286>] ? autoremove_wake_function+0x0/0x2e                                                                                                             

 [<ffffffff8106243b>] ? group_send_sig_info+0x18/0x6f                                                                                                                 

 [<ffffffff810bc480>] ? vfs_read+0xa2/0xdb                                                                                                                            

 [<ffffffff810bc510>] ? sys_pread64+0x57/0x77                                                                                                                         

 [<ffffffff81026a82>] ? system_call_fastpath+0x16/0x1b                                                                                                                

Mem-Info:                                                                                                                                                             

Node 0 DMA per-cpu:                                                                                                                                                   

CPU    0: hi:    0, btch:   1 usd:   0                                                                                                                                

CPU    1: hi:    0, btch:   1 usd:   0                                                                                                                                

CPU    2: hi:    0, btch:   1 usd:   0                                                                                                                                

CPU    3: hi:    0, btch:   1 usd:   0                                                                                                                                

Node 0 DMA32 per-cpu:                                                                                                                                                 

CPU    0: hi:  186, btch:  31 usd:  49                                                                                                                                

CPU    1: hi:  186, btch:  31 usd:  54                                                                                                                                

CPU    2: hi:  186, btch:  31 usd:  97                                                                                                                                

CPU    3: hi:  186, btch:  31 usd: 166                                                                                                                                

Node 0 Normal per-cpu:                                                                                                                                                

CPU    0: hi:  186, btch:  31 usd:  47                                                                                                                                

CPU    1: hi:  186, btch:  31 usd:  82                                                                                                                                

CPU    2: hi:  186, btch:  31 usd:  93                                                                                                                                

CPU    3: hi:  186, btch:  31 usd: 160                                                                                                                                

Active_anon:162583 active_file:253064 inactive_anon:65158                                                                                                             

 inactive_file:480675 unevictable:1 dirty:95550 writeback:0 unstable:0                                                                                                

 free:6721 slab:16920 mapped:52109 pagetables:5483 bounce:0                                                                                                           

Node 0 DMA free:15912kB min:28kB low:32kB high:40kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB present:15344kB pages_scanned:0 all_unreclaimable? yes                                                                                                                                              

lowmem_reserve[]: 0 3255 4013 4013                                                                                                                                    

Node 0 DMA32 free:9504kB min:6564kB low:8204kB high:9844kB active_anon:512144kB inactive_anon:122332kB active_file:860340kB inactive_file:1674356kB unevictable:0kB present:3334048kB pages_scanned:5939272 all_unreclaimable? yes                                                                                                          

lowmem_reserve[]: 0 0 757 757                                                                                                                                         

Node 0 Normal free:1468kB min:1524kB low:1904kB high:2284kB active_anon:138188kB inactive_anon:138300kB active_file:151916kB inactive_file:248344kB unevictable:4kB present:775680kB pages_scanned:1039457 all_unreclaimable? yes                                                                                                           

lowmem_reserve[]: 0 0 0 0                                                                                                                                             

Node 0 DMA: 4*4kB 3*8kB 4*16kB 2*32kB 4*64kB 1*128kB 2*256kB 1*512kB 2*1024kB 2*2048kB 2*4096kB = 15912kB                                                             

Node 0 DMA32: 962*4kB 5*8kB 3*16kB 6*32kB 8*64kB 2*128kB 4*256kB 1*512kB 1*1024kB 1*2048kB 0*4096kB = 9504kB                                                          

Node 0 Normal: 45*4kB 161*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 1468kB                                                        

739827 total pagecache pages                                                                                                                                          

1048576 pages RAM                                                                                                                                                     

33785 pages reserved                                                                                                                                                  

838881 pages shared                                                                                                                                                   

305159 pages non-shared                                                                                                                                               

Out of memory: kill process 11152 (kdeinit4) score 1761657 or a child                                                                                                 

Killed process 11153 (klauncher)                                                                                                                                      

vmware-hostd invoked oom-killer: gfp_mask=0xd0, order=0, oomkilladj=0                                                                                                 

vmware-hostd cpuset=/ mems_allowed=0                                                                                                                                  

Pid: 4415, comm: vmware-hostd Tainted: P           2.6.31-gentoo-r6 #5                                                                                                

Call Trace:                                                                                                                                                           

 [<ffffffff810909e6>] ? oom_kill_process+0x91/0x23d                                                                                                                   

 [<ffffffff8102c371>] ? read_tsc+0xa/0x20                                                                                                                             

 [<ffffffff81090d52>] ? badness+0x1a2/0x1e6                                                                                                                           

 [<ffffffff81090dd2>] ? __out_of_memory+0x3c/0x142                                                                                                                    

 [<ffffffff8109101a>] ? out_of_memory+0x142/0x174                                                                                                                     

 [<ffffffff814c8fae>] ? thread_return+0x41/0xd2                                                                                                                       

 [<ffffffff810942b0>] ? __alloc_pages_nodemask+0x45e/0x53a                                                                                                            

 [<ffffffff8106bb91>] ? hrtimer_cancel+0xc/0x16                                                                                                                       

 [<ffffffff81093625>] ? __get_free_pages+0x9/0x46                                                                                                                     

 [<ffffffff810c92ad>] ? __pollwait+0x5b/0xd6                                                                                                                          

 [<ffffffff8145df9b>] ? sock_poll_wait+0x13/0x18                                                                                                                      

 [<ffffffff8145dfb1>] ? unix_poll+0x11/0x90                                                                                                                           

 [<ffffffff810c84b9>] ? do_sys_poll+0x204/0x389                                                                                                                       

 [<ffffffff810c9252>] ? __pollwait+0x0/0xd6                                                                                                                           

 [<ffffffff810c9328>] ? pollwake+0x0/0x58                                                                                                                             

 [<ffffffff810c9328>] ? pollwake+0x0/0x58                                                                                                                             

 [<ffffffff810c9328>] ? pollwake+0x0/0x58                                                                                                                             

 [<ffffffff810c9328>] ? pollwake+0x0/0x58                                                                                                                             

 [<ffffffff810c9328>] ? pollwake+0x0/0x58                                                                                                                             

 [<ffffffff810c9328>] ? pollwake+0x0/0x58                                                                                                                             

 [<ffffffff810c9328>] ? pollwake+0x0/0x58                                                                                                                             

 [<ffffffff810c9328>] ? pollwake+0x0/0x58                                                                                                                             

 [<ffffffff810c9328>] ? pollwake+0x0/0x58                                                                                                                             

 [<ffffffff8106f5d5>] ? getnstimeofday+0x55/0xaf                                                                                                                      

 [<ffffffff8106bfdc>] ? ktime_get_ts+0x21/0x49

 [<ffffffff810c87cb>] ? sys_poll+0x47/0xb2

 [<ffffffff81026a82>] ? system_call_fastpath+0x16/0x1b

Mem-Info:

Node 0 DMA per-cpu:

CPU    0: hi:    0, btch:   1 usd:   0

CPU    1: hi:    0, btch:   1 usd:   0

CPU    2: hi:    0, btch:   1 usd:   0

CPU    3: hi:    0, btch:   1 usd:   0

Node 0 DMA32 per-cpu:

CPU    0: hi:  186, btch:  31 usd:  57

CPU    1: hi:  186, btch:  31 usd: 186

CPU    2: hi:  186, btch:  31 usd:  98

CPU    3: hi:  186, btch:  31 usd: 167

Node 0 Normal per-cpu:

CPU    0: hi:  186, btch:  31 usd: 160

CPU    1: hi:  186, btch:  31 usd:  79

CPU    2: hi:  186, btch:  31 usd: 104

CPU    3: hi:  186, btch:  31 usd: 130

Active_anon:162455 active_file:253012 inactive_anon:65157

 inactive_file:480330 unevictable:1 dirty:95556 writeback:0 unstable:0

 free:6721 slab:16920 mapped:52038 pagetables:5399 bounce:0

Node 0 DMA free:15912kB min:28kB low:32kB high:40kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB present:15344kB pages_scanned:0 all_unreclaimable? yes

lowmem_reserve[]: 0 3255 4013 4013

Node 0 DMA32 free:9504kB min:6564kB low:8204kB high:9844kB active_anon:511580kB inactive_anon:122332kB active_file:860164kB inactive_file:1672988kB unevictable:0kB present:3334048kB pages_scanned:4899850 all_unreclaimable? yes

lowmem_reserve[]: 0 0 757 757

Node 0 Normal free:1468kB min:1524kB low:1904kB high:2284kB active_anon:138240kB inactive_anon:138296kB active_file:151884kB inactive_file:248332kB unevictable:4kB present:775680kB pages_scanned:1131616 all_unreclaimable? yes

lowmem_reserve[]: 0 0 0 0

Node 0 DMA: 4*4kB 3*8kB 4*16kB 2*32kB 4*64kB 1*128kB 2*256kB 1*512kB 2*1024kB 2*2048kB 2*4096kB = 15912kB

Node 0 DMA32: 980*4kB 2*8kB 0*16kB 6*32kB 8*64kB 2*128kB 4*256kB 1*512kB 1*1024kB 1*2048kB 0*4096kB = 9504kB

Node 0 Normal: 59*4kB 154*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 1468kB

739830 total pagecache pages

1048576 pages RAM

33785 pages reserved

836521 pages shared

304945 pages non-shared

Out of memory: kill process 11152 (kdeinit4) score 1736474 or a child

Killed process 11179 (ksmserver)
```

Last edited by wbecker on Wed Jan 20, 2010 10:21 am; edited 1 time in total

----------

## aCOSwt

Could you post the output of

```
ulimit -SHa
```

----------

## wbecker

It is this:

```
core file size          (blocks, -c) 0

data seg size           (kbytes, -d) unlimited

scheduling priority             (-e) 0

file size               (blocks, -f) unlimited

pending signals                 (-i) 38912

max locked memory       (kbytes, -l) 64

max memory size         (kbytes, -m) unlimited

open files                      (-n) 1024

pipe size            (512 bytes, -p) 8

POSIX message queues     (bytes, -q) 819200

real-time priority              (-r) 0

stack size              (kbytes, -s) 8192

cpu time               (seconds, -t) unlimited

max user processes              (-u) 38912

virtual memory          (kbytes, -v) unlimited

file locks                      (-x) unlimited

```

I tried it on another computer which works fine and it is mostly the same...

----------

## aCOSwt

And the output of :

```
cat /proc/sys/vm/swappiness
```

----------

## wbecker

I havent changed it manually - it is currently on 60

----------

## LesCoke

Check how you have your kernel memory model setup.  Specifically check CONFIG_NOHIGHMEM, CONFIG_HIGMEM4G and CONFIG_HIGHMEM64G.  I'm pulling these from an x86 2.6.23 kernel, amd64 and later kernels may have different names.  Having 4G of RAM uses the whole 32bit address space leaving no place for the kernel to page VM into, thus these control which PAE model the kernel uses.

But I'm puzzled why the kernel limited the process to only 256M.

Les

----------

## wbecker

That's strange... 

If I go make menuconfig, and do a search it appears and tells me that I don't have HIGHMEM selected, but if I go to the place in Processor type and Features, then it is not there... Nor is there any thing to do with HIGHMEM in the .config file.

Has this changed or is it set by default?

----------

## aCOSwt

In the VMWare Server Console, what is the setting for the tweak memory/swap use ?

----------

## wbecker

Oh....

I have reserved 3000MB for VMware. I figured that it would only prevent other processes from using it if it needed it... But it could be that it just prevents anyone else from using that 3Gig.

I have moved it down to 1000MB - I'll see if that helps.

Thanks!

----------

## aCOSwt

 *wbecker wrote:*   

> Oh....
> 
> I have reserved 3000MB for VMware.

 

 :Twisted Evil: 

----------

## LesCoke

I checked my older 2.6.19 x86_64 system and found that it was not an option in that kernel; only found FLATMEM and SPARSEMEM.   My ulimits are roughly the same and your values look good.  I haven't updated this older Sempron64 system since it still has hard drive failures I haven't fixed yet.

Are you certain swap is setup?

I'm currently out of ideas.

Les

----------

## wbecker

I'm pretty sure it was my VMware setting. It's all working now.

----------

