<div dir="ltr">Hello<br><br><div>Now that we read about the obvious advantages (logic and ease of i/o) of NCL, is it possible for someone to list why someone would want to switch to python?  What does python have for the scientist that NCL does not?</div><div><br></div><div>Right now, I read netcdf files, ascii files, csv files, and I made graphs and maps, as well as write data using Fortran based programs (WRAPIT).  I find this all relatively easy to do (I do it, so it can't be too hard, it's just a lot to know!).</div><div><br></div><div>Why haven't I switched to Python already.  It sounds like the wave of the future!  What's in the wave?</div><div><br></div><div>Barry</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Feb 8, 2019 at 4:05 AM Colin Zarzycki <<a href="mailto:czarzycki@psu.edu">czarzycki@psu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Like Carl, I have assumed this inevitability, although I have also scientifically "grown up" with NCL over the past decade+ and have many hundreds (probably thousands!) of hours invested in using NCL to answer a vast array of scientific questions. While I think the community's march towards Python has some underappreciated warts (I spent a couple hours updating/rolling back/softlinking mismatched libraries on my personal machine after simply running conda update last week), there is no denying that its growth across, not only Earth, but the broader data sciences and rising stature in university curricula makes it likely the preeminent tool of the next generation of researchers. For better or for worse, adoption and growth of languages are driven by the size/engagement of their userbase instead of optimal practicality for each individual.</div><div><br></div><div>A couple thoughts after reading the pivot roadmap...</div><div><br></div><div>A.) Based on my "toe-in-the-water geoscience Python scripting" the last few years, I actually think one of the weaker points in (right now) is that I have yet to find a workflow for weather/climate data I/O where opening, massaging, and writing netCDF datasets (and their corresponding variables, dimensions, etc.) comes with the same ease as in NCL. Some of that is naturally due to tremendous work that has been undertaken in the past to support multiple formats behind the curtain, but this also includes NCL's amazingly useful calendar routines, coordinate subscripting, simple handling of attributes, ability to trivially output a new *.nc file in 3 lines, etc. As the roadmap notes on pg. 13-14, currently a host of somewhat fractured Python packages that can lack clean, easy-to-understand syntax are used by the community and (to me) this is a large gap that has remained unfilled even with the proliferation of Python support over the last few years.</div><div><br></div><div>Therefore, I would argue additional examples* regarding side by side snippets of "writing Python for NCLers" with a specific emphasis on I/O would be incredibly helpful moving forward, particularly with respect to functionality NCL has historically "wrapped" to make life easier (for me, trading off ease-of-use for a little abstraction/processing inefficiency is OK, especially if it means I have time to grab a cup of coffee).</div><div><br></div><div>B.) Hopefully I am interpreting the goal of NCOMP correctly, but I am also glad to see there is effort to port NCL's functions that are highly-specific to the atmospheric sciences (ex: aforementioned calendar routines, climatological analysis, vertical coordinate interpolation, etc.). This functionality is the workhorse when, for example, I can take data straight from a native model grid and have clean, interpolated, post-processed variables "on my desk" in a couple minutes with ~10 lines of code.</div><div><br></div><div>-Colin</div><div><br></div><div>*the first draft/examples on the NCL site from Karin Meier-Fleischer are already incredibly useful!</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Feb 7, 2019 at 4:25 PM Adam Phillips <<a href="mailto:asphilli@ucar.edu" target="_blank">asphilli@ucar.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi all,<div>Not everyone got my original post so I am resending this to the cgd-etal list. My apologies for the duplicate email.<div><div class="gmail_quote"><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr"><div>See Mary Haley's email below for information about the future of NCL. Quick summary: NCL is <i>not</i> going away, NCL graphics will continue to be developed, and the support structure remains intact. If you have any questions, feel free to contact myself, Nan Rosenbloom, or Laura Landrum, as all of us serve on the NCL Advisory Board.</div><div>Best,</div><div>Adam<br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">---------- Forwarded message ---------<br>From: <strong class="gmail_sendername" dir="auto">Mary Haley</strong> <span dir="ltr"><<a href="mailto:haley@ucar.edu" target="_blank">haley@ucar.edu</a>></span><br>Date: Wed, Feb 6, 2019 at 6:24 AM<br>Subject: [ncl-talk] Important announcement regarding the future of NCL<br>To: Ncl-talk <<a href="mailto:ncl-talk@ucar.edu" target="_blank">ncl-talk@ucar.edu</a>><br></div><br><br><div dir="ltr"><div dir="ltr"><div><div>Dear NCL Users,</div><div><br></div><div>This letter is in regard to the future of NCL, following NCAR's decision to move to Python as the scripting language of choice for future visualization and analysis software development. Note that this decision targets new development, leaving existing NCL functionality intact.</div><div><br></div><div>NCAR is committed to supporting data analysis software for atmospheric, oceanic, and climate science research. However, decreases in budgets and staff, coupled with the enormous functionality that Python brings to the earth sciences, has made it difficult to justify continuing new development on NCL. Python has seen rapid adoption by the earth science community and duplicates much of NCL's functionality, while adding critical features that NCL doesn't offer.</div><div><br></div><div>Based on recommendations from NSF, CISL and NCL advisory panels, the results of the NCL survey, and months of evaluating different strategies for the future development and support of NCL, NCAR has arrived at these major decisions, effective immediately:</div><div><ul><li>Python will be adopted as the scripting language platform for future visualization and analysis development.<br></li><li>NCL's core language and file I/O will be placed into maintenance mode.</li><li>NCL's graphics will have continued development through <a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.pyngl.ucar.edu&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487407101&sdata=M92NtzKIYOk6B31Me1UB%2BKRGqVPlskQqj2Rz6hBqswo%3D&reserved=0" target="_blank">PyNGL</a><font color="#ff0000"><b>*</b></font>.<br></li><li>NCL's unique and critical computational routines will be ported to an as-yet-to-be-named Python package.<br></li><li><a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.pyngl.ucar.edu%2FNio.shtml&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487407101&sdata=PBIVL%2BUZ4iXvEiOpZSi%2B3fg5%2F%2FZEyU2ZF%2FZzX2oaPPQ%3D&reserved=0" target="_blank">PyNIO</a><b style="color:rgb(255,0,0)">*</b> will be placed into maintenance mode.<br></li><li>Development will continue on <a href="https://na01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwrf-python.readthedocs.io%2Fen%2Flatest%2F&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487417106&sdata=4AUCC128c90a5ZjLQdg0ttaqhQjiikW84wmwibCXW0s%3D&reserved=0" target="_blank">WRF-Python</a><b style="color:rgb(255,0,0)">*</b>.</li><li>All software, including NCL and PyNIO, will be moved to a more open development software platform to allow for continued community development.</li></ul></div></div></div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><div dir="ltr"><div><div><b style="color:rgb(255,0,0)">*</b> PyNIO, PyNGL, and WRF-Python are Python modules built on top of NCL libraries, and are developed and supported by the NCL team.</div></div></div></blockquote><div dir="ltr"><div><div><br></div><div>NCAR recognizes the significance of these changes. It will take time for NCL users to transition to Python, and some users may not want to make the switch at all. As such, we want to stress that NCL is not going away. NCL users will be able to download NCL and execute their scripts for the foreseeable future.</div><div><br></div><div>To help users who want to begin transitioning their graphical NCL scripts to PyNGL right away, Karin Meier-Fleischer of DKRZ has written a first draft of an "<a href="http:///www.ncl.ucar.edu/Document/Manuals/NCL_to_Python/Transition_Guide_NCL_PyNGL.pdf" target="_blank">NCL-to-Python Transition Guide</a>" accompanied by <a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.ncl.ucar.edu%2FApplications%2FNCL_to_Python%2F&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487417106&sdata=OUUTrGkALC3USzYa8GP3gSCkTFm72p0ZK7Yz4luKqYA%3D&reserved=0" target="_blank">a suite of NCL and Python examples</a>.  Additionally, we will soon begin converting a subset of the NCL application examples to Python, using <a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.pyngl.ucar.edu%2F&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487427111&sdata=hr3gpDV65YDMYJzWPYEuu3bHnpz6cBa2hL2%2Fr80%2BYXo%3D&reserved=0" target="_blank">PyNGL</a> and <a href="https://na01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fmatplotlib.org&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487427111&sdata=RauXYSJZZsxQh7cDSPtss0Woz2PHcMgVBxMwE7qAmi4%3D&reserved=0" target="_blank">matplotlib</a>, and will continue to answer questions on the <a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fmailman.ucar.edu%2Fmailman%2Flistinfo%2Fncl-talk&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487437120&sdata=5NS69uehgGN8K8agtBo9KyXgrFw2fl1RoysYMTuF4SE%3D&reserved=0" target="_blank">ncl-talk</a> email list, but scaling back in order to start helping with Python questions.</div><div><br></div><div>For a detailed report and roadmap on the "pivot to Python" decision and transition plan, please read the "<a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.ncl.ucar.edu%2FDocument%2FPivot_to_Python%2FNCL_Pivot_to_Python_Report_and_Roadmap.pdf&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487437120&sdata=PlSPR%2BHTiPLXaRtuZq60KHzZ%2FqdZD0Ux89Zh76GN5ps%3D&reserved=0" target="_blank">NCL and the Pivot to Python: Discussion and Roadmap</a>" report, which can be found on a special page we created containing <a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.ncl.ucar.edu%2FDocument%2FPivot_to_Python%2F&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487447130&sdata=46CI9mvV%2FLNWvIGGD492vddz0PItL4trdPUXk15lR8E%3D&reserved=0" target="_blank">other supporting documents</a>.</div><div><br></div><div>The NCL team welcomes your input on this decision. We also want to know if there are other ways we can help ease the transition to Python and encourage users to become more active contributors through open development. Please use <a href="https://na01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2FNCAR%2Fncl%2Fissues%2F64&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487447130&sdata=f6slOq7pKScfUdv2hiW5u5BTXTIDTMQ8e6xluqmTeXA%3D&reserved=0" target="_blank">this GitHub issue</a> to submit questions or comments so we can keep the discussion public.</div><div><br></div><div><b>NCL Team:</b></div><div>John Clyne (acting group head)</div><div>Rick Brownrigg</div><div>Mary Haley</div><div>Kevin Hallock</div><div>Bill Ladwig</div><div><br></div><div><br></div><div><br></div><div style="font-size:small"><br></div></div></div></div>
_______________________________________________<br>
ncl-talk mailing list<br>
<a href="mailto:ncl-talk@ucar.edu" target="_blank">ncl-talk@ucar.edu</a><br>
List instructions, subscriber options, unsubscribe:<br>
<a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fmailman.ucar.edu%2Fmailman%2Flistinfo%2Fncl-talk&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487457135&sdata=x3LkBTRWrJRHPb0NChym0No6QWBE2gQ5jims0UyUCRA%3D&reserved=0" rel="noreferrer" target="_blank">http://mailman.ucar.edu/mailman/listinfo/ncl-talk</a><br>
</div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail-m_-1800105003270258249gmail-m_3800193608600145335gmail-m_689896367311373231m_-7795744338327097705m_1683892051591403445gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div><div><span><font color="#888888">Adam Phillips <br></font></span></div><span><font color="#888888">Associate Scientist,  </font></span><span><font color="#888888">Climate and Global Dynamics Laboratory, NCAR<br></font></span></div></div><div><span><font color="#888888"><a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.cgd.ucar.edu%2Fstaff%2Fasphilli%2F&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487457135&sdata=1nLuGaRf5AggSZyznMgb9QlSGyntziTbTw1v%2Bt8MEV8%3D&reserved=0" target="_blank">www.cgd.ucar.edu/staff/asphilli/</a>   </font></span><span><font color="#888888">303-497-1726 </font></span></div><span><font color="#888888"></font></span><div><div><span><font color="#888888"><br></font></span><div><span><font color="#888888"><a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.cgd.ucar.edu%2Fstaff%2Fasphilli&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487457135&sdata=kCdxy%2FQRpsQirNd4%2Fwt9RTXdtYgyYpr51HllJPA3cw4%3D&reserved=0" target="_blank"></a></font></span></div></div></div></div></div></div></div></div></div></div></div></div></div>
</div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail-m_-1800105003270258249gmail-m_3800193608600145335gmail-m_689896367311373231gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div><div><span><font color="#888888">Adam Phillips <br></font></span></div><span><font color="#888888">Associate Scientist,  </font></span><span><font color="#888888">Climate and Global Dynamics Laboratory, NCAR<br></font></span></div></div><div><span><font color="#888888"><a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.cgd.ucar.edu%2Fstaff%2Fasphilli%2F&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487467140&sdata=rOw%2F9v%2Ba1l7c6AseFcLB3DIHEH%2BcNchZdD4UKCaVa6o%3D&reserved=0" target="_blank">www.cgd.ucar.edu/staff/asphilli/</a>   </font></span><span><font color="#888888">303-497-1726 </font></span></div><span><font color="#888888"></font></span><div><div><span><font color="#888888"><br></font></span><div><span><font color="#888888"><a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.cgd.ucar.edu%2Fstaff%2Fasphilli&data=02%7C01%7Ccmz5202%40psu.edu%7C475b847b8a1a4321b2a808d68d42d347%7C7cf48d453ddb4389a9c1c115526eb52e%7C0%7C0%7C636851715487467140&sdata=77bg13k%2BE1VGDTHk26IBVqIXQTju1hawg3pDFYJg2xs%3D&reserved=0" target="_blank"></a></font></span></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail-m_-1800105003270258249gmail-m_3800193608600145335gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr" style="font-family:arial"><font color="#000000">Colin M. Zarzycki, </font><span style="font-family:Helvetica;font-size:13.0769px">Ph.D.</span></div><div><font color="#000000" face="arial">Assistant Professor of Meteorology and Climate Dynamics</font><br></div><div><font color="#000000" face="arial">Department of Meteorology and Atmospheric Science</font><br></div><div><font color="#000000" face="arial">Pennsylvania State University<br></font></div><div dir="ltr" style="font-family:arial">Web: <a href="http://www.colinzarzycki.com/" style="color:rgb(17,85,204)" target="_blank">http://www.colinzarzycki.com</a> | Office: +1 (814) 863-6888</div></div></div></div></div></div></div>
</div>
_______________________________________________<br>
ncl-talk mailing list<br>
<a href="mailto:ncl-talk@ucar.edu" target="_blank">ncl-talk@ucar.edu</a><br>
List instructions, subscriber options, unsubscribe:<br>
<a href="http://mailman.ucar.edu/mailman/listinfo/ncl-talk" rel="noreferrer" target="_blank">http://mailman.ucar.edu/mailman/listinfo/ncl-talk</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr">Barry H. Lynn, Ph.D<div><div>Senior Associate Scientist, Lecturer,</div><div><div><span style="color:rgb(136,136,136)">The Institute of the Earth Science, </span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">The Hebrew University of Jerusalem, </span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">Givat Ram, Jerusalem 91904, Israel </span><br style="color:rgb(136,136,136)"></div><span style="color:rgb(136,136,136)">Tel: 972 547 231 170</span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">Fax: (972)-25662581</span></div></div><div><span style="color:rgb(136,136,136)"><br></span></div><div>C.E.O, Weather It Is, LTD<br>Weather and Climate Focus<br><a href="http://weather-it-is.com" target="_blank">http://weather-it-is.com</a><br>Jerusalem, Israel<br>Local: 02 930 9525<br>Cell: 054 7 231 170<br>Int-IS: x972 2 930 9525<br><br></div></div></div></div></div>