<div dir="ltr"><div>Thanks Dave and David. Lets see how more information can be retrieved.</div><div><br></div><div>Debasish</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jul 27, 2016 at 1:58 PM, Dave Allured - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:dave.allured@noaa.gov" target="_blank">dave.allured@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">This file is fortran unformatted binary sequential, big endian, with varying record lengths.  There are mixed data types, at least character and integer, probably also some floats, if I am not mistaken.  The first record begins with the string &quot;NEMSIO  GFS     bin4&quot; which is likely a format identifier.<div><br></div><div>This is a custom made fortran file.  This will be impossible to decode without some source documentation.  NCL may have problems with the varying length records and mixed data types.  This file was made for fortran access, not for NCL or other common climate software.</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>--Dave</div></font></span><div><div class="h5"><div><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jul 26, 2016 at 7:40 PM, David Brown <span dir="ltr">&lt;<a href="mailto:dbrown@ucar.edu" target="_blank">dbrown@ucar.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid">I don&#39;t know how this file is organized. I do know that the &#39;strings&#39;<br>
tool outputs some stuff that looks like variable names at the<br>
beginning:<br>
<br>
strings ngac.t00z.aerf24 |more<br>
<br>
0NEMSIO  GFS     bin4<br>
<br>
bccmass         bcdp001         bcdp002         bcem001<br>
bcem002         bceman          bcembb          bcembf<br>
bchyphil        bcsd001         bcsd002         bcsmass<br>
bcsv001         bcsv002         bcwt001         bcwt002<br>
dmscmass        dmssmass        ducmass25       ducmass<br>
dudp001         dudp002         dudp003         dudp004<br>
dudp005         duem001         duem002         duem003<br>
duem004         duem005         dusd001         dusd002<br>
dusd003         dusd004         dusd005         dusmass25<br>
dusmass         dusv001         dusv002         dusv003<br>
dusv004         dusv005         duwt001         duwt002<br>
duwt003         duwt004         duwt005         occmass<br>
ocdp001         ocdp002         ocem001         ocem002         oceman<br>
         ocembb          ocembf          ocembg          ochyphil<br>
  ocsd001         ocsd002         ocsmass         ocsv001<br>
ocsv002         ocwt001         ocwt002         so2cmass<br>
so2eman         so2embb         so2emve         so2emvn<br>
so2smass        so4cmass        so4eman         so4smass<br>
sscmass25       sscmass         ssdp001         ssdp002<br>
ssdp003         ssdp004         ssdp005         ssem001<br>
ssem002         ssem003         ssem004         ssem005<br>
sssd001         sssd002         sssd003         sssd004<br>
sssd005         sssmass25       sssmass         sssv001<br>
sssv002         sssv003         sssv004         sssv005<br>
sswt001         sswt002         sswt003         sswt004<br>
sswt005         sudp001         sudp002         sudp003<br>
sudp004         suem001         suem002         suem003<br>
suem004         supmsa          supso2          supso4aq<br>
supso4g         supso4wt        susd001         susd002<br>
susd003         susd004         susv001         susv002<br>
susv003         susv004         suwt001         suwt002<br>
suwt003         suwt004<br>
<br>
atmos col       atmos col       atmos col       atmos col       atmos<br>
col       atmos col       atmos col       atmos col       atmos col<br>
   atmos col       atmos col       atmos col       atmos col<br>
atmos col       atmos col       atmos col       atmos col       atmos<br>
col       atmos col       atmos col<br>
<br>
.....<br>
<br>
The &quot;bin4&quot; at the beginning suggests maybe that it is 4 byte floats,<br>
but other than than I have no idea.<br>
<br>
I think you will need to find some explanation of the contents of this<br>
file from the people who created it.<br>
 -dave<br>
<br>
<br>
On Tue, Jul 26, 2016 at 7:16 PM, Debasish Hazra<br>
&lt;<a href="mailto:debasish.hazra5@gmail.com" target="_blank">debasish.hazra5@gmail.com</a>&gt; wrote:<br>
&gt; Thanks David. Do I need to read the file as &quot;binary&quot; ?<br>
&gt;<br>
&gt; Debasish<br>
&gt;<br>
&gt; On Tue, Jul 26, 2016 at 6:12 PM, David Brown &lt;<a href="mailto:dbrown@ucar.edu" target="_blank">dbrown@ucar.edu</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; I am afraid there have been some misunderstandings.<br>
&gt;&gt; First of all the file &quot;ngac.t00z.aerf24.grib2&quot; (actually called<br>
&gt;&gt; ngac.t00z.aerf24 on the ftp site if anyone else wants to download it)<br>
&gt;&gt; is<br>
&gt;&gt; not a GRIB file at all. A simple test if you suspect something is not<br>
&gt;&gt; GRIB:<br>
&gt;&gt;<br>
&gt;&gt; strings &lt;filename&gt; | grep GRIB<br>
&gt;&gt;<br>
&gt;&gt; If this produces nothing then it&#39;s definitely not a GRIB file (of<br>
&gt;&gt; course the presence of &quot;GRIB&quot; does not prove it is a GRIB file).<br>
&gt;&gt; To digress for a moment, if it is a GRIB file then the command,<br>
&gt;&gt;<br>
&gt;&gt; strings &lt;filename&gt; | egrep &#39;GRIB|7777&#39;<br>
&gt;&gt;<br>
&gt;&gt; will produce alternating instances of &#39;GRIB&#39; and &#39;7777&#39;. These strings<br>
&gt;&gt; mark the beginning and end of each GRIB record. This is true for both<br>
&gt;&gt; GRIB 1 and 2.<br>
&gt;&gt;<br>
&gt;&gt; strings ngac.t00z.aerf24 |grep GRIB<br>
&gt;&gt; produces nothing so it is not GRIB.<br>
&gt;&gt;<br>
&gt;&gt; Second, the warning messages that are emitted when an ngac file that<br>
&gt;&gt; is valid GRIB is read by NCL such as:<br>
&gt;&gt;<br>
&gt;&gt; warning: Entry (62006) not found in code table file<br>
&gt;&gt; /Users/shea/devel/lib/ncarg/grib2_codetables/ncep/4/4.3.table<br>
&gt;&gt;<br>
&gt;&gt; refer to entries not found in table 4.3 which is &quot;type of generating<br>
&gt;&gt; process&quot;. This is not the same as table 4.233 &quot;Aerosol Type&quot;<br>
&gt;&gt; and so the number 62006 in this context has nothing to do with 62006<br>
&gt;&gt; (&quot;Sulphate Dry&quot;) in the Aerosol Type table<br>
&gt;&gt;<br>
&gt;&gt; 62006 as a type of generating processing is not documented in the 4.3<br>
&gt;&gt; table and hence the message. Since type of generating process is<br>
&gt;&gt; usually of less concern to users I am considering eliminating the<br>
&gt;&gt; error message in this case.<br>
&gt;&gt;<br>
&gt;&gt; It is true that NCL does not yet make use of the 4.233 table. That is<br>
&gt;&gt; because it is an auxiliary table that needs to be used in the context<br>
&gt;&gt; of certain GRIB2 product templates that address aerosols. It does not<br>
&gt;&gt; contain actual parameters. Rather a parameter might be named, e.g.<br>
&gt;&gt; &quot;Aerosol optical thickness&quot; and based on the template there is another<br>
&gt;&gt; piece of metadata called &quot;Aerosol Type&quot; which is as documented in the<br>
&gt;&gt; &quot;Aerosol Types&quot; table. A small extension to our GRIB2 data model is<br>
&gt;&gt; required to handle these templates. We hope to implement it in time<br>
&gt;&gt; for 6.4.0 but that is not yet certain.<br>
&gt;&gt;  -dave<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; On Tue, Jul 26, 2016 at 12:23 PM, Debasish Hazra<br>
&gt;&gt; &lt;<a href="mailto:debasish.hazra5@gmail.com" target="_blank">debasish.hazra5@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt; Hi Dennis,<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; The variables in the range  62000 to 62010 in the updated grib2 table<br>
&gt;&gt; &gt; &quot;<a href="http://www.nco.ncep.noaa.gov/pmb/docs/grib2/grib2_table4-233.shtml" target="_blank" rel="noreferrer">http://www.nco.ncep.noaa.gov/pmb/docs/grib2/grib2_table4-233.shtml</a>&quot; are<br>
&gt;&gt; &gt; &quot;optical depth&quot; and has no units associated with them.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; 62000 Total Aerosol<br>
&gt;&gt; &gt; 62001 Dust Dry<br>
&gt;&gt; &gt; 62006 Sulphate Dry<br>
&gt;&gt; &gt; 62008 Sea Salt Dry<br>
&gt;&gt; &gt; 62009 Black Carbon Dry<br>
&gt;&gt; &gt; 62010 Particulate Organic Matter Dry<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; 62010-62016 are mixing ratios in kg/kg<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Debasish<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; On Tue, Jul 26, 2016 at 2:13 PM, Dennis Shea &lt;<a href="mailto:shea@ucar.edu" target="_blank">shea@ucar.edu</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Again, I will forward this. please send to ncl-talk. Otherwise, I am<br>
&gt;&gt; &gt;&gt; just<br>
&gt;&gt; &gt;&gt; a middleman forwarding the emails.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Usually the GRIB tables have units:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Examples:<br>
&gt;&gt; &gt;&gt; <a href="http://www.ncl.ucar.edu/Document/Manuals/Ref_Manual/ncep_141.htm" target="_blank" rel="noreferrer">http://www.ncl.ucar.edu/Document/Manuals/Ref_Manual/ncep_141.htm</a><br>
&gt;&gt; &gt;&gt; <a href="http://www.ncl.ucar.edu/Document/Manuals/Ref_Manual/ecmwf_132.htm" target="_blank" rel="noreferrer">http://www.ncl.ucar.edu/Document/Manuals/Ref_Manual/ecmwf_132.htm</a><br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; NCL ... see GRIB section<br>
&gt;&gt; &gt;&gt; See:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; <a href="http://www.ncl.ucar.edu/Document/Manuals/Ref_Manual/NclFormatSupport.shtml" target="_blank" rel="noreferrer">http://www.ncl.ucar.edu/Document/Manuals/Ref_Manual/NclFormatSupport.shtml</a><br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; On Tue, Jul 26, 2016 at 12:05 PM, Debasish Hazra<br>
&gt;&gt; &gt;&gt; &lt;<a href="mailto:debasish.hazra5@gmail.com" target="_blank">debasish.hazra5@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; The link updated grib2 table is here :<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; <a href="http://www.nco.ncep.noaa.gov/pmb/docs/grib2/grib2_table4-233.shtml" target="_blank" rel="noreferrer">http://www.nco.ncep.noaa.gov/pmb/docs/grib2/grib2_table4-233.shtml</a><br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; Thanks<br>
&gt;&gt; &gt;&gt;&gt; Debasish<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; On Tue, Jul 26, 2016 at 1:33 PM, Dennis Shea &lt;<a href="mailto:shea@ucar.edu" target="_blank">shea@ucar.edu</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; The issue is that the NGAC grib tables are not publicly available.<br>
&gt;&gt; &gt;&gt;&gt;&gt; If you know of where they are located, they can be included within<br>
&gt;&gt; &gt;&gt;&gt;&gt; NCL<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; In fact, there is a JIRA ticket on this:<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; [JIRA] (NCL-2442) GRIB-2: warning: Entry (not found in code table<br>
&gt;&gt; &gt;&gt;&gt;&gt; file<br>
&gt;&gt; &gt;&gt;&gt;&gt; .../grib2_codetables/ncep/4/4.3.table<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; Just yesterday, a comment was made on this ticket:<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; ---------<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; Unfortunately the &quot;not found in code table file&quot; errors<br>
&gt;&gt; &gt;&gt;&gt;&gt; that Dennis reported in this ticket cannot be corrected<br>
&gt;&gt; &gt;&gt;&gt;&gt; because the entries for that were not found are not documented<br>
&gt;&gt; &gt;&gt;&gt;&gt; by the NCEP GRIB2 web pages. Table 4.3 contains the generating<br>
&gt;&gt; &gt;&gt;&gt;&gt; process<br>
&gt;&gt; &gt;&gt;&gt;&gt; mapping. The values found in the file, all in the range 62000 to<br>
&gt;&gt; &gt;&gt;&gt;&gt; 62016,<br>
&gt;&gt; &gt;&gt;&gt;&gt; probably refer to local &quot;generating processes&quot; related to the NGAC<br>
&gt;&gt; &gt;&gt;&gt;&gt; model.<br>
&gt;&gt; &gt;&gt;&gt;&gt; If documentation can be found to describe these I would be happy to<br>
&gt;&gt; &gt;&gt;&gt;&gt; add<br>
&gt;&gt; &gt;&gt;&gt;&gt; them to the tables.<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; The other option to get rid of these admittedly annoying<br>
&gt;&gt; &gt;&gt;&gt;&gt; messages might be to just not print the warnings for this piece of<br>
&gt;&gt; &gt;&gt;&gt;&gt; metadata<br>
&gt;&gt; &gt;&gt;&gt;&gt; since it is not usually of that much interest to the data consumer. I<br>
&gt;&gt; &gt;&gt;&gt;&gt; would<br>
&gt;&gt; &gt;&gt;&gt;&gt; be happy to consider this.<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; ---------<br>
&gt;&gt; &gt;&gt;&gt;&gt; Note: the *values* returned by NCL are correct. The meta data is not<br>
&gt;&gt; &gt;&gt;&gt;&gt; because the<br>
&gt;&gt; &gt;&gt;&gt;&gt; NCEP GRIB2 web pages are not available.<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; --------<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; Again, if you know where the appropriate tables are located, please<br>
&gt;&gt; &gt;&gt;&gt;&gt; send<br>
&gt;&gt; &gt;&gt;&gt;&gt; to ncl-talk.<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; THX<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; On Tue, Jul 26, 2016 at 11:21 AM, Debasish Hazra<br>
&gt;&gt; &gt;&gt;&gt;&gt; &lt;<a href="mailto:debasish.hazra5@gmail.com" target="_blank">debasish.hazra5@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt; Hi,<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt; I am trying to read grib2 file with ncl (v6.3) and it shows the<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt; following error while trying to open it:<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt; fatal:An internal error has occurred. The file format requested does<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt; not appear to be supported, could not open (ngac.t00z.aerf24.grib2)<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt; Variable: f<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt; Type: file<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt; (0) File Missing Value : -1<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt; I kept the data file in ftp. Any help on this is appreciated.<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt; Thanks.<br>
&gt;&gt; &gt;&gt;&gt;&gt;&gt; Debasish<br></blockquote></div></div></div></div></div></div>
</blockquote></div><br></div>