Mark J. Anderson* *Principal of Stat Ease, Inc, 2021 E. Hennepin, #480, Minneapolis, MN E mail:

Tabletop Hockey Meets Goals for Teaching Experimental Design  Mark J. Anderson*  *Principal of Stat‐Ease, Inc, 2021 E. Hennepin, #480, Minneapolis, MN 55413   E‐mail: [email protected] 

Introduction  Design of experiments (DOE) is an essential tool for product and process improvement. Good  software now makes the set up and analysis of DOE’s very easy, but the typical engineer or  scientist remains intimidated by statistical outputs. For that reason, education on DOE is a  necessity for non‐statisticians. Ideally the DOE training is provided on a just‐in‐time basis –  prior to actually doing an experiment. However, an in‐class experiment may be a reasonable  substitute for real‐life use. For those with no technical background, such as accountants  getting their ‘belt’ for six sigma, this hands‐on experience can be extremely valuable for  gaining appreciation of the logistical issues of execution and measurement.  The hockey experiment is designed to illustrate the power of two‐level factorial design. It’s  very simple and compact, and most importantly, the results are not obvious to the  experimenters. The students are provided with a PC and statistical software with tools for  design and analysis of experiments. With very little effort, they generate results that  reinforce what’s been presented by the instructor. This generates a feeling of confidence,  which empowers the graduates to do their own DOE.  What sets this experiment apart from others used in class, such as paper helicopters,1 is that  it invariably generates interactions of factors, thus making it absolutely clear why these  designs are superior to the traditional one‐factor‐at‐a‐time (OFAT) approach. 

Setting up the Experiment  The objective of the hockey experiment is to learn how to shoot a puck – just like the real  game (see Figure 1). 

  Figure 1: Slap shot by Brian Rolston of the Minnesota Wild  The response to be measured is the distance the puck slides over a surface. The students  work in teams of four with the following job functions: 

•

Referee #1, to drop puck 

•

Player, to shoot puck 

•

Referee #2, make measurement 

•

Reporter, to announce settings and record results 

The experiment requires use of a smooth‐topped table at least 6 feet in length. The other  materials are all readily available. Each team will need:  •

1 hard plastic ruler, 6 in (15 cm) in length (such as Helix #10011 Shatter Resistant) to  use as the “stick”. Caution: even “unbreakable” rulers will break if bent too far. For  safety reasons, apply electrical tape as reinforcement. (A more expensive, but possible  more durable, option is the Helix stainless steel ruler.  This features a cork‐coated  backing that could become an additional experimental factor, that is, hitting the puck  with one side versus the other.) 

•

4 quarters make a “puck” (pun intended). 

•

Gum‐type adhesive (such as DAP BlueStiktm) to stick the coins together into a puck. 

•

1 six‐foot (2 m) tape measure (such as Helix #11201 pocket) 

The “player” may tire after taking several shots, so a fixture to hold the hockey stick ruler is  recommended. This can be easily constructed out of wood by simply cutting a 1 centimeter  deep slot. If this seems daunting, consider investing in a commercially‐made holding device  such as the Irwin Quick‐Grip® model 59200 (2”‐50 mm) picture in Figure 2. In any case, the  trainer must be thoroughly prepared by doing a great deal of pre‐experimentation to verify  that it will almost certainly work when done in class. 

  Figure 2: Optional clamp with alternative ‘stick’ made of stainless steel  The dimensions of the optional fixture and other materials can be seen in Figure 3, which  shows a template that’s provided to the students. They are asked to include the following  factors in their experiment:  A. Shot type: “Slap” (set puck at “face‐off” line, then retract and release stick) versus  “Wrist” (set puck against fully retracted stick and fling it forward)  B. Stick length: “Short” (7 cm) vs “Long” (14 cm)  C. Windup: “Half” (2.5 cm) vs “Full “(4.5 cm) 

“What are you going to say, you can only shoot wrist shots?”1   – Brian Rolston, professional hockey player infamous for his wicked slap shot    Fixture

Puck (at various positions)

Ruler 1

7

11.5

14

2.5

3.5 4.5

Figure 3: Template with pre‐marked puck positions and stick setbacks  The teams are encouraged to brainstorm and come up with one or more additional factors.  There’s no limit to what they can choose to do other than it must be safe and reasonable.  Time is also a limitation. To maintain control, the instructor should pre‐approve all DOEs.  The specific questions that must be answered are:  •

What is the ideal setup for distance? 

•

Are there other factors that you think should be included in a comprehensive  screening test? 

•

What other responses could be measured? 

We also provide these tips for the data analysis:  •

Be sure to check residuals – take appropriate remedial action 

•

Variability may make it hard to resolve effects – consider replication. 

Experimental Procedure:  Clear all equipment off the classroom table for the hockey rink. (Be careful: bend with your  knees, not your back!)  1. Referee #1 set “face‐off” template at left corner of “rink” (must allow for right drift of  wrist shot).  2. Referee #2 insert “stick” in fixture with centimeter rule at top, with the “1” centimeter  rule marking in the slot. Position it over spot marked on template. 

3. Do some pre‐trials to get a feel for the setup. (Hint: test the extreme conditions to  make sure puck won’t fly into the stands.)  4. All participants use software to set up a test plan. The game will be called after 20  experimental runs – budget accordingly. (If you wish to deviate from this or any other  suggestions, please ask for permission from the “commissioner” (your instructor)).  5. Reporter reads off setup from test plan on computer.  6. Referee #1 sets the puck (tails down) at the appropriate position on the template.  7. Player bends stick back to specified position using template as a guide.  8. If “slap” shot, leave puck at face‐off line. If “wrist” shot, Referee #1 sets puck against  stick.  9. Player releases stick.  10. Referee #2 measures distance from where the puck starts to where it stops.  11. Reporter records results in software.  12. All participants use software to analyze. 

Typical Results  Like any in‐class experiment results will vary, sometimes in a delightful way. For example,  one team spread water on the table in an attempt to create a hydroplane effect! Almost  everyone reveals an unexpected interaction between shot type and stick length as shown in  Figure 4. The “I” bars on the graph represent least significant difference (LSD) intervals at  the 95 percent confidence level. The vertical axis represents shot distance, which analyzes  best in the log scale. 

Log(Distance - cm)

2.3 2.0

Wrist

1.7 1.4 1.1

Slap

0.8 0.5

At Short End of Stick

At Far End of Stick  

Figure 4: Typical results from hockey DOE – interaction of shot type with puck placement  The effect of stick length depends on the type of shot. The slap shot actually works better  when the puck is set closer to the player, which is not intuitive. At this point (left side on the  figure), there’s no significant difference between shot types (as indicated by the overlap of  points within the LSD bar). 

Other Ideas  A Six Sigma trainer, Ariela Gruszka of Micron Technology, provided these suggestions:     “Our puck features one side that is polished (smooth) versus the other coated with  diamond grit (rough). Also, we used a metal ruler that is more rigid than a plastic one.”   Notice in Figure 5 below (featuring the University of Minnesota’s Goldy Gopher in hockey  regalia as an onlooker) that the puck used by this DOE educator was a bit smaller in  diameter than the one made with four quarters, but it was about the same thickness. 

  Figure 5: Materials for tabletop hockey  The grit increased friction to such an extent that it mattered which side of the puck the  experimenters placed down (factor D in the Pareto plot pictured in Figure 6), whereas the  difference in sides of the quarter (head vs. tail) cannot typically be detected. Also, they  performed enough runs (full two‐level factorial on five factors: 25=32) to achieve the power  needed to uncover a minor interaction between shot type and the material used in the ruler.  Contact the author for the data from this experiment. Also, feel free to suggest other ideas to  make this exercise more manageable, fun or informative. For example, perhaps someone  could try adding accuracy as a response. After all, that is literally the goal in real‐life hockey!  It would not be hard to mark out a bulls‐eye (circular sticky note?). If this becomes an  objective, it would be good to take several shots at each experimental setup and analyze both  the average and standard deviation. Perhaps some conditions are more stable (significantly  less measured variation) then others. Another thought is that the tabletop hockey exercise  could be continued to the next level of design experiments – response surface methodology  (RSM). Armed with an RSM model, a shooter could hit a target at any point within range! One  last thing, something really wacky (pun intended): Replace the puck with a six‐sided die. 

Distance would then vary much more depending on its orientation when hit (if cornered, it  will spin) and force (the die will roll).  A A: Windup – 2.5 vs 5 cm B: Spot on stick – 1 vs 7 cm C: Shot – Slap vs Wrist D: Surface of puck – Smooth vs Rough E: Ruler – Metal vs Plastic Positive Effects Negative Effects

CE D

BCB CE

Bonferroni Limit t-Value Limit

31

29

27

25

23

21

19

17

15

13

11

9

7

5

3

1

Rank

 

Figure 6: Pareto chart of experiment done with gritty puck 

Conclusion  The hockey experiment has been well‐received by adult learners from a variety of industries.  It’s very simple and compact for the instructor to set up and explain. The results of the  experiment generally surprise the students with an unexpected interaction. These features  make the hockey experiment an ideal in‐class exercise for DOE. 

Further Reading  For more details on two‐level factorial design see the second edition of DOE Simplified,3  which details analysis of results from a tabletop hockey experiment done by the procedures  outlined in this article.  For a list of other fun in‐class experiments, including the ever‐popular paper helicopters, see  “DOE It Yourself” posted at www.statease.com/pubs/doe‐self.pdf. 

References  1. Box, George E. P. and Liu, Patrick Y. T. (1999), "Statistics as a Catalyst to Learning by  Scientific Method Part I – An Example", Journal of Quality Technology, Vol. 31.  2. Shipley, John. (2008), “Rolston loves to let it rip, but powerful shootout slap shot  raises safety concerns,” Saint Paul Pioneer Press, January 24, page 4D.  3. Anderson, Mark J. and Whitcomb, Patrick J. (2007), Chapter 4 “Dealing with Non‐ Normality via Response Transformations,” Productivity Press, NY.