<div dir="ltr">Dave<div><br></div><div>I modified the script and...</div><div><br></div><div><div>[gerry@wof-vis NCL]$ ncl test2.ncl </div><div> Copyright (C) 1995-2015 - All Rights Reserved</div><div> University Corporation for Atmospheric Research</div><div> NCAR Command Language Version 6.3.0</div><div> The use of this software is governed by a License Agreement.</div><div> See <a href="http://www.ncl.ucar.edu/">http://www.ncl.ucar.edu/</a> for more details.</div><div>fatal:[&quot;NclNetCDF4.c&quot;:3073]:NclNetCDF4.c: Error in nc_def_var_chunking in file (<a href="http://wrfinput_d02.nc">wrfinput_d02.nc</a>) for writing, at line: 3073</div><div><br></div><div>line 3074 of NclNetCDF4.c: NetCDF: Attempt to define var properties, like deflate, after enddef.</div></div><div><br></div><div>Where to, now?</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 23, 2015 at 3:35 PM, Gerry Creager - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:gerry.creager@noaa.gov" target="_blank">gerry.creager@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Dave<div><br></div><div>Thanks. And I&#39;ll bring this up to Russ and the crew at Unidata!</div><div><br></div><div>We&#39;ll test.</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>Gerry</div></font></span></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 23, 2015 at 12:49 AM, David Brown <span dir="ltr">&lt;<a href="mailto:dbrown@ucar.edu" target="_blank">dbrown@ucar.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Gerry,<br>
I have a work-around fix for you, which is to change the line:<br>
<span><br>
var_mod = new((/1,dimz,dimy,dimx/),&quot;float&quot;)<br>
</span>to<br>
var_mod = new((/1,dimz,dimy,dimx/),&quot;float&quot;,&quot;No_FillValue&quot;)<br>
<br>
Alternately you could say<br>
delete(var_mod@_FillValue)<br>
after the &#39;new&#39; statement.<br>
<br>
The issue is that NCL creates _FillValue attributes for variables by<br>
default, and these get propagated when the variable is written to a<br>
file. And while coordinates and most attributes are not passed along<br>
when you do a value-only assignment (using (/ .../) syntax), the<br>
_FillValue is. This was never a problem with traditional NetCDF.<br>
<br>
But in NetCDF4 it seems the _FillValue attribute can only be written<br>
when &quot;the file is still in initial define mode&quot;  (according to<br>
<a href="http://www.unidata.ucar.edu/software/netcdf/docs/netcdf-c/nc_005fput_005fatt_005f-type.html#nc_005fput_005fatt_005f-type" rel="noreferrer" target="_blank">http://www.unidata.ucar.edu/software/netcdf/docs/netcdf-c/nc_005fput_005fatt_005f-type.html#nc_005fput_005fatt_005f-type</a>).<br>
<br>
I think this means that _FillValue attributes cannot be added to<br>
variables that did not have them originally. We will need to account<br>
for this in NCL, but in the meantime you can make things work by<br>
eliminating the _FillValue attribute from the variable you are using<br>
to replace the original QRAIN variable in the file.<br>
<br>
Hope this helps.<br>
 -dave<br>
<div><div><br>
<br>
<br>
<br>
On Mon, Jun 22, 2015 at 5:41 PM, David Brown &lt;<a href="mailto:dbrown@ucar.edu" target="_blank">dbrown@ucar.edu</a>&gt; wrote:<br>
&gt; Hi Gerry,<br>
&gt; I have been able to duplicate this seg fault and I am looking into it now.<br>
&gt;  -dave<br>
&gt;<br>
&gt; On Mon, Jun 22, 2015 at 4:14 PM, Gerry Creager - NOAA Affiliate<br>
&gt; &lt;<a href="mailto:gerry.creager@noaa.gov" target="_blank">gerry.creager@noaa.gov</a>&gt; wrote:<br>
&gt;&gt; David<br>
&gt;&gt;<br>
&gt;&gt; Looks like it may not have been fixed quite yet. Mary sent me a version and<br>
&gt;&gt; I finally fooled the system into working today, when testing began. The<br>
&gt;&gt; short script included, inline below, can be run against the netcdf (wrfout)<br>
&gt;&gt; I uploaded recently (advise if I need to upload it again), results in a seg<br>
&gt;&gt; fault.<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; ;=============<br>
&gt;&gt; load &quot;$NCARG_ROOT/lib/ncarg/nclscripts/csm/gsn_code.ncl&quot;<br>
&gt;&gt; load &quot;$NCARG_ROOT/lib/ncarg/nclscripts/csm/gsn_csm.ncl&quot;<br>
&gt;&gt; load &quot;$NCARG_ROOT/lib/ncarg/nclscripts/csm/contributed.ncl&quot;<br>
&gt;&gt; load &quot;$NCARG_ROOT/lib/ncarg/nclscripts/wrf/WRFUserARW.ncl&quot;<br>
&gt;&gt; ;=============<br>
&gt;&gt; begin<br>
&gt;&gt;<br>
&gt;&gt; dimx = 225<br>
&gt;&gt; dimy = 225<br>
&gt;&gt; dimz = 55<br>
&gt;&gt;<br>
&gt;&gt; a = addfile(&quot;<a href="http://wrfinput_d02.nc" rel="noreferrer" target="_blank">wrfinput_d02.nc</a>&quot;, &quot;w&quot;)<br>
&gt;&gt; var_orig=a-&gt;QRAIN<br>
&gt;&gt; var_mod = new((/1,dimz,dimy,dimx/),&quot;float&quot;)<br>
&gt;&gt; var_mod = 5.<br>
&gt;&gt;<br>
&gt;&gt; print(dimsizes(var_orig))<br>
&gt;&gt; print(dimsizes(var_mod))<br>
&gt;&gt;<br>
&gt;&gt; a-&gt;QRAIN = (/var_mod/)<br>
&gt;&gt;<br>
&gt;&gt; end<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; On Mon, Jun 8, 2015 at 9:00 PM, David Brown &lt;<a href="mailto:dbrown@ucar.edu" target="_blank">dbrown@ucar.edu</a>&gt; wrote:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Dustan and Gerry,<br>
&gt;&gt;&gt; This issue relating to writing a variable with chunking in an existing<br>
&gt;&gt;&gt; NetCDF4 file has been fixed. Also a secondary issue involving<br>
&gt;&gt;&gt; re-writing existing variable attributes has been addressed as well.<br>
&gt;&gt;&gt; Let us know if you need a version with these fixes and we will try to<br>
&gt;&gt;&gt; accommodate you as soon as possible.<br>
&gt;&gt;&gt; Thanks for letting us know of this problem.<br>
&gt;&gt;&gt;  -dave<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; On Wed, Jun 3, 2015 at 8:50 AM, David Brown &lt;<a href="mailto:dbrown@ucar.edu" target="_blank">dbrown@ucar.edu</a>&gt; wrote:<br>
&gt;&gt;&gt; &gt; Hi Dustin and Gerry,<br>
&gt;&gt;&gt; &gt; I have confirmed there is a problem. It has been partially but not<br>
&gt;&gt;&gt; &gt; completely fixed in the development version of the code. I am looking<br>
&gt;&gt;&gt; &gt; into the remaining issue and will let you know when it has been fixed.<br>
&gt;&gt;&gt; &gt;  -dave<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; On Tue, Jun 2, 2015 at 10:34 AM, Gerry Creager - NOAA Affiliate<br>
&gt;&gt;&gt; &gt; &lt;<a href="mailto:gerry.creager@noaa.gov" target="_blank">gerry.creager@noaa.gov</a>&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt; Additional information: If we do an addfile(&quot;&lt;filename&gt;&quot;,&quot;r&quot;), we can<br>
&gt;&gt;&gt; &gt;&gt; open<br>
&gt;&gt;&gt; &gt;&gt; and read the file. If we use &quot;w&quot;, well, we can open the file but<br>
&gt;&gt;&gt; &gt;&gt; assigning<br>
&gt;&gt;&gt; &gt;&gt; an existing variable to an internal variable fails on the assign (var =<br>
&gt;&gt;&gt; &gt;&gt; a-&gt;QRAIN). Of course, because it fails there, we can&#39;t see if it&#39;d also<br>
&gt;&gt;&gt; &gt;&gt; fail<br>
&gt;&gt;&gt; &gt;&gt; on write.<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Thanks<br>
&gt;&gt;&gt; &gt;&gt; Gerry<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; On Mon, Jun 1, 2015 at 7:15 PM, Gerry Creager - NOAA Affiliate<br>
&gt;&gt;&gt; &gt;&gt; &lt;<a href="mailto:gerry.creager@noaa.gov" target="_blank">gerry.creager@noaa.gov</a>&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; I&#39;ve started looking at this with Dusty. Appreciate any thought you<br>
&gt;&gt;&gt; &gt;&gt;&gt; might<br>
&gt;&gt;&gt; &gt;&gt;&gt; have as to why we&#39;re failing.<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; I&#39;ve uploaded the input file (wrfinput_d02) to the FTP incoming site.<br>
&gt;&gt;&gt; &gt;&gt;&gt; I&#39;m<br>
&gt;&gt;&gt; &gt;&gt;&gt; testing with the script:<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; var = &quot;QRAIN&quot;<br>
&gt;&gt;&gt; &gt;&gt;&gt; print(var)<br>
&gt;&gt;&gt; &gt;&gt;&gt; a=addfile(&quot;<a href="http://wrfinput_d02.nc" rel="noreferrer" target="_blank">wrfinput_d02.nc</a>&quot;, &quot;w&quot;)<br>
&gt;&gt;&gt; &gt;&gt;&gt; var_orig=a-&gt;QRAIN<br>
&gt;&gt;&gt; &gt;&gt;&gt; print(var_orig)<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; The result looks like:gerry@loki:~/NEWSe/NCL&gt; ncl test.ncl<br>
&gt;&gt;&gt; &gt;&gt;&gt;  Copyright (C) 1995-2015 - All Rights Reserved<br>
&gt;&gt;&gt; &gt;&gt;&gt;  University Corporation for Atmospheric Research<br>
&gt;&gt;&gt; &gt;&gt;&gt;  NCAR Command Language Version 6.3.0<br>
&gt;&gt;&gt; &gt;&gt;&gt;  The use of this software is governed by a License Agreement.<br>
&gt;&gt;&gt; &gt;&gt;&gt;  See <a href="http://www.ncl.ucar.edu/" rel="noreferrer" target="_blank">http://www.ncl.ucar.edu/</a> for more details.<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; Variable: var<br>
&gt;&gt;&gt; &gt;&gt;&gt; Type: string<br>
&gt;&gt;&gt; &gt;&gt;&gt; Total Size: 8 bytes<br>
&gt;&gt;&gt; &gt;&gt;&gt;             1 values<br>
&gt;&gt;&gt; &gt;&gt;&gt; Number of Dimensions: 1<br>
&gt;&gt;&gt; &gt;&gt;&gt; Dimensions and sizes: [1]<br>
&gt;&gt;&gt; &gt;&gt;&gt; Coordinates:<br>
&gt;&gt;&gt; &gt;&gt;&gt; (0) QRAIN<br>
&gt;&gt;&gt; &gt;&gt;&gt; fatal:[&quot;NclNetCDF4.c&quot;:3073]:NclNetCDF4.c: Error in nc_def_var_chunking<br>
&gt;&gt;&gt; &gt;&gt;&gt; in<br>
&gt;&gt;&gt; &gt;&gt;&gt; file (<a href="http://wrfinput_d02.nc" rel="noreferrer" target="_blank">wrfinput_d02.nc</a>) for writing, at line: 3073<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; line 3074 of NclNetCDF4.c: NetCDF: Attempt to define var properties,<br>
&gt;&gt;&gt; &gt;&gt;&gt; like<br>
&gt;&gt;&gt; &gt;&gt;&gt; deflate, after enddef.<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; On Fri, May 29, 2015 at 8:54 PM, Dustan Wheatley - NOAA Affiliate<br>
&gt;&gt;&gt; &gt;&gt;&gt; &lt;<a href="mailto:dustan.wheatley@noaa.gov" target="_blank">dustan.wheatley@noaa.gov</a>&gt; wrote:<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; I am trying to overwrite a netcdf4 file analogous to what is shown at<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; <a href="http://www.ncl.ucar.edu/Applications/change_netCDF.shtml" rel="noreferrer" target="_blank">http://www.ncl.ucar.edu/Applications/change_netCDF.shtml</a>.  In the<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; attached<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; ncl script, I open the file to be modified at line 35 and attempt the<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; modification at line 73 (with a lot of calculations in between).<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; While I<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; have double-checked that the modified field (var_mod) has the same<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; dimensionality as the original variable (QRAIN), I am still get a<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; segmentation fault/core dump.  Never had this problem when I tried to<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; manipulate netcdf3 files.  Could it possibly be related to the<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; netcdf4<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; compression?  It’s possible I may be trying to do something that’s no<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; longer<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; possible.<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; Thanks in advance for any suggestions.<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; -Dusty Wheatley<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; ncl-talk mailing list<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; <a href="mailto:ncl-talk@ucar.edu" target="_blank">ncl-talk@ucar.edu</a><br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; List instructions, subscriber options, unsubscribe:<br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt; <a href="http://mailman.ucar.edu/mailman/listinfo/ncl-talk" rel="noreferrer" target="_blank">http://mailman.ucar.edu/mailman/listinfo/ncl-talk</a><br>
&gt;&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;&gt; --<br>
&gt;&gt;&gt; &gt;&gt;&gt; Gerry Creager<br>
&gt;&gt;&gt; &gt;&gt;&gt; NSSL/CIMMS<br>
&gt;&gt;&gt; &gt;&gt;&gt; <a href="tel:405.325.6371" value="+14053256371" target="_blank">405.325.6371</a><br>
&gt;&gt;&gt; &gt;&gt;&gt; ++++++++++++++++++++++<br>
&gt;&gt;&gt; &gt;&gt;&gt; “Big whorls have little whorls,<br>
&gt;&gt;&gt; &gt;&gt;&gt; That feed on their velocity;<br>
&gt;&gt;&gt; &gt;&gt;&gt; And little whorls have lesser whorls,<br>
&gt;&gt;&gt; &gt;&gt;&gt; And so on to viscosity.”<br>
&gt;&gt;&gt; &gt;&gt;&gt; Lewis Fry Richardson (1881-1953)<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; --<br>
&gt;&gt;&gt; &gt;&gt; Gerry Creager<br>
&gt;&gt;&gt; &gt;&gt; NSSL/CIMMS<br>
&gt;&gt;&gt; &gt;&gt; <a href="tel:405.325.6371" value="+14053256371" target="_blank">405.325.6371</a><br>
&gt;&gt;&gt; &gt;&gt; ++++++++++++++++++++++<br>
&gt;&gt;&gt; &gt;&gt; “Big whorls have little whorls,<br>
&gt;&gt;&gt; &gt;&gt; That feed on their velocity;<br>
&gt;&gt;&gt; &gt;&gt; And little whorls have lesser whorls,<br>
&gt;&gt;&gt; &gt;&gt; And so on to viscosity.”<br>
&gt;&gt;&gt; &gt;&gt; Lewis Fry Richardson (1881-1953)<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; _______________________________________________<br>
&gt;&gt;&gt; &gt;&gt; ncl-talk mailing list<br>
&gt;&gt;&gt; &gt;&gt; <a href="mailto:ncl-talk@ucar.edu" target="_blank">ncl-talk@ucar.edu</a><br>
&gt;&gt;&gt; &gt;&gt; List instructions, subscriber options, unsubscribe:<br>
&gt;&gt;&gt; &gt;&gt; <a href="http://mailman.ucar.edu/mailman/listinfo/ncl-talk" rel="noreferrer" target="_blank">http://mailman.ucar.edu/mailman/listinfo/ncl-talk</a><br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; --<br>
&gt;&gt; Gerry Creager<br>
&gt;&gt; NSSL/CIMMS<br>
&gt;&gt; <a href="tel:405.325.6371" value="+14053256371" target="_blank">405.325.6371</a><br>
&gt;&gt; ++++++++++++++++++++++<br>
&gt;&gt; “Big whorls have little whorls,<br>
&gt;&gt; That feed on their velocity;<br>
&gt;&gt; And little whorls have lesser whorls,<br>
&gt;&gt; And so on to viscosity.”<br>
&gt;&gt; Lewis Fry Richardson (1881-1953)<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div><div dir="ltr">Gerry Creager<div>NSSL/CIMMS</div><div><a href="tel:405.325.6371" value="+14053256371" target="_blank">405.325.6371</a></div><div>++++++++++++++++++++++</div><div><div>“Big whorls have little whorls,</div><div>That feed on their velocity; </div><div>And little whorls have lesser whorls, </div><div>And so on to viscosity.” </div><div>Lewis Fry Richardson (1881-1953)</div></div></div></div>
</div>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Gerry Creager<div>NSSL/CIMMS</div><div>405.325.6371</div><div>++++++++++++++++++++++</div><div><div>“Big whorls have little whorls,</div><div>That feed on their velocity; </div><div>And little whorls have lesser whorls, </div><div>And so on to viscosity.” </div><div>Lewis Fry Richardson (1881-1953)</div></div></div></div>
</div>